Aunque relativamente joven, el oficio demoscópico en México cuenta ya con una considerable experiencia. A la luz de la controversia reciente en torno a las encuestas, el autor recuerda los avances importantes de la sociedad mexicana en este campo, sobre todo en las últimas dos décadas, y enumera una serie importante de pendientes de la mano de posibles soluciones.
Llevan tanto que ya casi son ritual. Se puede aventurar —me aventuro— a calificarlas como otra versión de las guerras floridas, necesarias para asegurar la supervivencia de los contendientes. Por lo menos se llevan a cabo cada tres años. Antes había muchas escaramuzas intermedias, hoy ya no tantas; poco a poco se han ido concentrando en el periodo trianual. Eso sí, cada seis años las batallas corren del Colorado al Suchiate, del golfo de México y el Caribe hasta el Pacífico y el golfo de Cortés. No quedan territorios ni islas neutrales. Las colinas a ganar son muchas, de distintas alturas, desde la cima más codiciada hasta miles de montículos, por sí mismos valiosos para muchos principiantes o caciques empedernidos.
Y como es de esperarse en cada guerra florida, la tinta de distintos colores corre a ríos: de los agresores por los agravios sufridos y de los agredidos que se dicen inocentes. Complementariamente, afloran diversas partes del frente “en vivo”, con avezados corresponsales jugándose el pellejo (claro, pellejo ajeno) y otros que, día tras día o al calor de la batalla, se aferran al micrófono y al reflector central para fijar de viva voz —y con las gesticulaciones propias del caso— todo detalle, ¡qué importa que tengan invitados presentes, citados por ellos mismos! ¡Ah, si su voz suena tan clara como sensata, para qué arriesgarse con novatos! Basta su presencia efímera en tomas o micrófonos abiertos de tres a cuatro segundos para retomar el timón. Les siguen los foros donde todos tienen el micrófono abierto a la vez, y por supuesto lo usan generando tremendo ruido impertinente, aderezado de vez en vez con risotadas y carcajadas sonoras hasta que de algún “chícharo” llega el aviso de abuso, y por arte de magia se van apagando las voces y, por breves instantes, vuelve a tornarse entendible algún breve intercambio secuencial de expresiones, hasta que retorna el caos. Pero ¡ay!, faltaban las entrevistas, las incisivas y famosas entrevistas que cada vez se acercan más a interrogatorios interminables con tufo a calabozo. El interrogado se da cuenta de que solo hay dos maneras de ponerle fin al trance para pasar a la siguiente pregunta: cede y repite en voz como de rezo conocido la respuesta que el propio interrogador ofrece en la pregunta misma, o de plano lo enfrenta con paciencia y diplomacia para reiterar que su respuesta ya la dio varias veces, e invita a pasar a otro tema.
Claro, seguro del otro bando se adolece de lo mismo, con todos los matices: desde intervenciones ocasionales, puntuales y precisas hasta las cansonas que aparecen a diario —mañana, tarde y noche—, algunas con más excusas que explicaciones, más largas que cortas, sencillas, claras y convincentes.
¿El premio, tras las bajas y los ríos de tinta multicolor? Rendir tributo y culto al nuevo Sol y sobrevivir entre los agraciados hasta que llegue la próxima. ¿El riesgo? Una regresión. ¿Regresión? ¿Algún modelo estadístico con un ajuste soñado que arroja una R2 envidiable, casi cercana a 1, y sin indicios de autocorrelación ni apego a supuestos comunes que la invaliden? No, nada de eso, una verdadera regresión a un pasado reciente, aborrecido por muchos durante décadas —¡sí!, existían hace varias décadas— pero en riesgo de perderse y de que los agredidos vuelvan a vivir encerrados en el “clóset”. Así, de nuevo, las llaves de acceso serán pocas, numeradas y bajo estricto control de quién merece tener una.
Ninguna de las partes se enfrenta por vez primera. Casi todos son supervivientes de 2009, 2006, 2003, 2000, 1997 y 1994. Pocos se citaron en el callejón en 1991 y 1988 (año por cierto en que Este País nació, entre otras cosas para forzar la puerta del clóset y salir “a ver la luz” y ser vistos).
A quien llegó en su lectura hasta aquí, antes que nada mi agradecimiento por su tolerancia. Seguramente hace muchas líneas entiende que sobre lo que escribo es la controversia en curso —y seguro ansía que entre de lleno al tema— respecto a las encuestas político-electorales de la elección presidencial de 2012, tan solo un miembro, quizás el más joven, de una familia extendida y muy numerosa de “encuestas” que arribaron a nuestro país hace más de 70 años para mostrar con creatividad e ingenio cómo indagar distintos y variados temas relevantes de la sociedad y el Estado, vía la estimación de parámetros e indicadores asociados a ellos. Y no son pocas las destrezas técnicas ni los temas sustantivos donde varios mexicanos distinguidos, así como instituciones, han recibido reconocimiento, dentro y fuera del país, por la excelencia de sus quehaceres a lo largo de estas décadas.
Los obuses de quienes se sienten agredidos con los resultados de las encuestas vienen cargados con granadas de fragmentación que hieren con intenciones diversas buscando, incluso, causar bajas permanentes: desprestigiar a toda una industria-gremio; focalizarse en varios o solo en algunos; acusarlos de simples maletones que no conocen su oficio; etiquetarlos de corruptos aseverando, así nomás, que dan resultados dolosos con intenciones perversas dirigidas contra uno u otro contendiente, etcétera. El parque es inagotable y seguirá reabastecido en tanto siga dando rendimientos.
Del otro lado no faltan réplicas de distinta índole. Algunas, si bien responden a ciertas críticas, se quedan en generalidades sin mayor detalle; no se valen del lenguaje coloquial (preferible) ni del técnico. Las hay que al responder elaboran primero taxonomías de posibles fuentes-enfoques de los problemas, para luego especular razonadamente —ya sea en lenguaje coloquial o técnico o mixto—; sin embargo, dejan el sabor de que algo se quedó en el tintero, sin que ello necesariamente invalide lo dicho (o quizás algunas cosas sí). Otras más, de pasadita, dan un buen repaso dirigido a alguno de los mandos del frente opositor. No obstante, la inmensa mayoría reconoce (reconocemos, dijo el otro, para corregir y evidenciar mi obvia pifia, en solidaridad) que quienes hemos dedicado a esto toda una vida profesional, así como los talentos nuevos, tenemos tareas pendientes, urgentes de atender, y que no solo se vale atisbar la respuesta del colega sino cuestionarla incluso, “con pizarrón de por medio”, y corresponder sometiendo a una crítica similar o más dura la propia.
¿Por qué hasta ahora? En realidad, no iniciamos ahora. Hemos trabajado desde el siglo pasado, primero entre colegas-cuates o cuates-colegas, con la confianza necesaria para contrastarse sin tapujos; luego con el acicate de la fundación de la revista Este País; posteriormente con la fundación de la Asociación Mexicana de Agencias de Investigación de Mercado y Opinión Pública (amai) y su vocación creciente por la mejora de la industria tanto en sus técnicas como en la ética profesional de sus agremiados, tanto en sesiones a puerta cerrada como en congresos y seminarios; con el interés y el apoyo financiero del Instituto Federal Electoral (ife) en 1994, 2000, 2006 y, pronto, en 2012; con el creciente interés de la academia, que comenzó a realizar diversos foros en sus instalaciones bajo la moderación y activa participación de especialistas versados en la materia; con actividades promovidas por el Instituto Nacional de Estadística y Geografía y la Asociación Mexicana de Estadística; con otras de carácter internacional promovidas por asociaciones como la Sociedad Europea de Opinión e Investigación de Mercados y la Organización Mundial de la Opinión Pública, etcétera.
¡Qué bárbaros! Tantas reuniones y aún no resuelven nada/todo. No, ni lo uno ni lo otro, pero se ha logrado mucho. A manera de ilustración, menciono algunos avances nada triviales. Ya nadie discute el tema del acceso a un marco muestral adecuado, un problema no solo de larga data en el terreno técnico, sino también, por muchos años, focal en el debate político de los comités ejecutivos nacionales de todos los partidos. Este tema, por cierto, fue resuelto con la realización de casi cinco decenas de encuestas, etiquetadas como “auditorías técnicas” al padrón electoral, a principios de la década de los noventa. Nadie discute si son equivalentes las mediciones hechas vía telefónica y las hechas cara a cara. Nadie discute sobre la alternativa de hacer las entrevistas en centros de afluencia o en vivienda. Nadie sugiere que la pregunta sobre preferencia o intención de voto se sitúe hacia el final del cuestionario. En fechas cercanas a la elección, casi todos medimos la intención de voto mediante el uso de “boletas” y no mediante pregunta directa. Todos usamos algún modelo de selección estrictamente probabilístico al menos en las dos primeras etapas: secciones electorales y manzanas. Y hay otros ejemplos.
Pendientes sin resolver los hay, unos ya identificados y otros más que a futuro seguro se identificarán. Otra vez, a guisa de ilustración: ¿es tiempo de abandonar el “muestreo de cuotas” dentro de las manzanas y adoptar de lleno esquemas estrictamente probabilísticos? Es totalmente factible tanto técnica como operativamente. ¡Ah!, pero el trabajo de campo y los costos se incrementan de manera significativa, pues no se permite ningún esquema de “sustitución”, por sofisticado que este sea, ante cualquier tipo de no respuesta. Implica varias visitas a los hogares seleccionados, en diferentes horas y días, para lograr entrevistar al miembro específico del hogar que haya resultado seleccionado mediante un esquema estrictamente probabilístico. Y, por supuesto, la experiencia de cada encuestador le dirá qué tanta sobremuestra requiere de origen para que al final del trabajo de campo se cuente con un número de entrevistas completas “cercano” al deseado.
Repasemos la última frase: “para que al final del trabajo de campo se cuente con un número de entrevistas completas ‘cercano’ al deseado”. Curioso que no llame la atención de los de enfrente que las encuestas electorales levantadas como series siempre tengan al final el mismo número de entrevistas completas, sea cual sea. ¿Qué tanto está perjudicando esta consigna, atendida en el terreno por decenas de supervisores al frente de sus equipos de encuestadores, con la presión adicional de fechas fatales por cumplir?
Más allá de pagar a ciertas personas por su rol como supervisores, ¿qué consecuencias tiene su actividad? ¿Alguna vez han parado “en seco” el operativo de campo para replantear, con el apoyo de las oficinas centrales, secciones del cuestionario que dieron más dificultades de las previstas? Seguro ha sucedido pero, ¿son acciones sistemáticas o casuísticas?, ¿están debidamente documentadas? Los supervisores, ¿llegan a cesar o a recapacitar a encuestadores que no se apegan a los procedimientos? Los que sustituyen a los cesados, ¿reciben la misma capacitación para la encuesta? Usualmente, esto se resuelve capacitando más encuestadores de los necesarios para tenerlos de reserva, ¿lo hacen?
Y concluido el trabajo de campo, ¿qué supervisión se tiene en la captura, validación e integración de la base de datos final (bdf)? ¿Se cuenta con los controles básicos que, por sistema, detectan anomalías que escapan en campo? ¿Se tienen bien tipificadas las anomalías, según su gravedad y consecuencias, y las posibles soluciones?
Y ya con la BDF, al pasar a la etapa de estimación, ¿se toman en cuenta o no los factores de ponderación derivados del diseño y la selección de la muestra? Y considerados esos factores, ¿se requiere además de algún tipo de posestratificación, como por grupos de edad y sexo, identificados a partir de una fuente alterna confiable, la lista nominal por ejemplo?
¿Debemos seguir aceptando que los clientes difundan y/o publiquen algunos de los resultados sin consultar antes al encuestador? ¿Podemos arribar a un convenio-contrato básico para toda la industria —o al menos para los agremiados en la amai— donde se estipulen cláusulas preventivas de excesos, abusos dolosos o incluso groseras manipulaciones en la difusión de los resultados, difusión a la que por cierto tienen derecho por ser los dueños de los resultados?
¿Cómo evitar confusiones por el uso de etiquetas no apropiadas para ciertos subgrupos de informantes, como la de llamar indecisos a quienes simplemente no quieren darnos a conocer sus intenciones de voto al momento de la entrevista?
Para las mediciones en serie, ¿es tiempo ya de tener una mezcla de encuestas panel y encuestas con muestras independientes en cada ronda?
¿Cómo explicar que es una virtud y no una deficiencia el hecho de que nuestra actividad haga mediciones sin certidumbre, que con base en muestras estrictamente probabilísticas permita medir la incertidumbre para cada una de las estimaciones prioritarias, con el nivel de confianza que se desee, y que esto es bueno?
¿Cómo explicar mejor que las encuestas realizadas durante la campaña (que entrevistan a electores), las encuestas de salida (que entrevistan a votantes) los conteos rápidos (que no entrevistan a nadie), y los famosos prep (que no estiman nada, que acumulan hasta acabar, simplemente) son ejercicios totalmente diferentes?
¿Cómo acercarnos aún más a los medios, a sus conductores y plumas especializadas en el tema para, de manera conjunta, aprender unos de otros a comunicar mejor todo lo anterior, así como los resultados, sin demérito de los contenidos noticiosos?
No hay intento alguno de ser exhaustivo, ni siquiera de abarcar lo más urgente o prioritario, ni de arribar a “la solución” en ninguno de los puntos. Con lo poco escrito recibiré con agradecimiento de aprendiz las críticas que vengan, y estaré mejor preparado para las intensas reuniones de autocrítica y crítica, para luego compartir nuevos avances.
En cuanto a dejar de “sacarle al bulto” y no encarar la discusión de considerar o no los resultados de las encuestas como proyecciones del resultado de la elección, para luego entrarle al juego de quién fue el más acertado… De plano prefiero otro juego mucho más interesante y valioso: el de la prospectiva, el de imaginarnos distintos escenarios futuros y especular cuál es el más factible o el más deseable según los participantes en el análisis, hacia dónde nos conduciría cada uno, y con qué consecuencias, y con cuáles otros nos toparemos que resultan interesantes y relevantes y que ni siquiera contemplábamos al arrancar el ejercicio.
En este juego, esta y cualquier otra elección —los sexenios pasados y los que vienen— son meros incidentes (de encuestas, ya ni qué decir), ocurrencias que quizás incluso distraen de aportaciones sobre el futuro: de nuestra sociedad, estado, país, región, planeta, Sistema Solar, galaxia, universo…
Por fortuna, nuestro país cuenta con varios pioneros, reconocidos dentro y fuera como verdaderos expertos, y algunos líderes en la conducción de estos valiosos ejercicios, donde “seis años no son nada”. ¿Hacia dónde queremos llevar a nuestro querido México como un todo, como un rompecabezas donde cada pieza es indispensable para sostener las otras?
¿Le entramos? Como aperitivo ahí está el bosón de Higgs o, como otros prefieren llamarla, la “partícula de Dios”. ¿Quién inicia?
¡Ah!, por último, teniendo en México instituciones y profesionales conocidos y reconocidos en el diseño y selección de muestras, así como en el diseño de cuestionarios, logística de campo y métodos de estimación: ¿realmente necesitamos recurrir a expertos de otras latitudes, para que sean ellos quienes descubran nuestras fallas? Para muestra, tres citas del libro de David W. Moore —editor en jefe de la Gallup Poll hasta abril de 2006—, The Opinion Makers. An Insider Exposes the Truth Behind the Polls:
Dado que los medios masivos de comunicación han tomado el control del oficio de las encuestas, la ley de Gresham se puede aplicar con toda su fuerza… la mala calidad sustituye a la buena calidad. Daniel Yankelovich
A pesar de las numerosas pruebas de que los resultados de las encuestas no son confiables, expertos analistas y políticos continúan tratándolas con la reverencia que los romanos reservaban para las entrañas de pollo. Arianna Huffington
Los medios de comunicación llevan a cabo una labor atroz y lamentable con las encuestas. Jim Clifton
________________________________________
EDMUNDO BERUMEN es licenciado en Matemáticas por el San Diego State College y maestro y candidato a doctor en Estadística por la Universidad de Michigan. Fue director general de Estadística en el INEGI y asesor técnico internacional para la Oficina de Estadística de la ONU. Actualmente es director general de Berumen y Asociados, empresa de investigación de mercados y encuestas de opinión para los sectores privado, público y social, así como para organismos internacionales.
