CONOCER, INFLUIR, PRONOSTICAR: LOS PROPÓSITOS DE LAS ENCUESTAS
Los resultados de elecciones nacionales y de plebiscitos realizados en 2016 en muchos países no solo resultaron contrarios a los que los medios periodísticos y probablemente la mayoría de nuestros lectores supusieron sino, también, a los que el grueso de los encuestadores profesionales pronosticaron. ¿Qué les sucedió a estos? ¿Se equivocaron? ¿O los instrumentos de que disponen no sirven para las funciones que les hacen cumplir?
 |
Manuel Mora y Araujo
|
¿De qué se trata?
Fortalezas y debilidades de los estudios de opinión y de las encuestas tradicionales y nuevas.
La invención de la encuesta
La encuesta por muestreo es un invento del siglo XX. Consiste en inferir ciertas características de una población (por ejemplo, cómo votará) interrogando a una fracción rigurosamente elegida de sus integrantes. La herramienta suele tener tres propósitos: es un método para obtener conocimiento, una guía para realizar campañas comunicacionales y una forma de pronosticar los resultados de elecciones. Las tres funciones son de vieja data: de hecho, son casi tan antiguas como la misma humanidad. Conocer el mundo, influir en los acontecimientos y anticiparse a lo que sucederá han sido, desde tiempos remotos, inquietudes humanas aplicadas a planos muy distintos de la vida.
El uso de tales encuestas para estudiar la opinión pública y pronosticar resultados electorales no fue posible hasta que se produjo un desarrollo importante en la disciplina base, la estadística, concretamente, la estadística inferencial. Esta hizo posible el concepto de muestra de población, que está en la base de la encuesta por muestreo.
Otros elementos constitutivos de la herramienta, sin embargo, fueron concebidos mucho antes: la idea de obtener información preguntando a la gente y registrando sus respuestas, por ejemplo, ya estaba instalada en el siglo XIX, al punto que hasta Karl Marx (1818-1883) intentó servirse de ella. Los conceptos aportados por la psicología para medir actitudes, en cambio, fueron desarrollos en el siglo XX. La estadística analítica, del mismo modo, tuvo a su disposición métodos y enfoques que no habían sido establecidos antes del siglo XX, aunque el XIX conoció una notable expansión del uso de información estadística.
En la década de 1930 pioneros estadounidenses como George Gallup (1901-1984) y Elmo Roper (1900-1971) pusieron a punto el procedimiento de la encuesta por muestreo, la que estuvoal servicio de las campañas presidenciales de Franklin D Roosevelt. Antes las encuestas carecían de una base estadística sólida. Su propósito era satisfacer la curiosidad anticipatoria del público. El Literary Digest, por ejemplo, publicaba encuestas a miles de personas, pero su capacidad predictiva era bajísima.
La técnica de la encuesta por muestreo no tardó en los Estados Unidos en ser incorporada a los departamentos universitarios de ciencias sociales, donde sirvió el propósito de avanzar en el conocimiento científico de aspectos de la vida social; a oficinas gubernamentales, para profundizar en distintos aspectos de la tarea administrativa; de modo sistemático a las campañas electorales, para alimentar estrategias de comunicación; y al amplio stock de información periodística, para ofrecer a los públicos de los medios anticipos de los resultados electorales.
En esta última función las encuestas siempre tuvieron altibajos. El mismo Gallup sufrió un resonante fracaso en las elecciones presidenciales estadounidenses de 1948, cuando pronosticó la derrota de Harry Truman ante Thomas Dewey, pero en esa misma elección Leslie Kish (1910-2000), uno de los fundadores de la estadística inferencial moderna, logró un correcto pronóstico con una muestra nacional de 600 casos, un tamaño insólitamente reducido aun para los nuevos métodos, y risible para quienes pensaban que el tamaño de la muestra es más importante que su calidad probabilística.
Pronto la técnica fue adoptada en Francia y otros países de Europa, y después en América latina. En la Argentina su mayor propulsor fue el italiano Gino Germani (1911-1979), llegado al país en la década de 1930 como refugiado del fascismo, que en la segunda mitad de la década de 1950 y la primera de la de 1960, como director del Departamento de Sociología de la Facultad de Filosofía y Letras (UBA) formó a las primeras generaciones de sociólogos capacitados en el manejo de la herramienta y en la teoría que la respalda, mientras que en el Instituto de Sociología de la misma facultad realizó las primeras grandes investigaciones mediante encuestas. Algo después, José Enrique Miguens (1918-2011) lideró el crecimiento académico del campo en la UCA. La aplicación práctica de encuestas en campañas electorales en el país comenzó con la elección presidencial de 1983, en que las realizadas de manera seria anticiparon entonces el triunfo de Raúl Alfonsín, quien había basado su campaña en un uso eficiente de ellas.
Dicha campaña de Alfonsín es una buena ilustración de la multiplicidad de usos de las encuestas en la vida política. La estrategia de la campaña se basó enteramente en análisis de datos obtenidos de esa manera, a partir de los cuales la comunicación estableció los mensajes y las vías por las que los difundiría. Desde ese momento, prácticamente todos los partidos políticos ‑grandes y chicos, tradicionales y nuevos‑ hicieron uso de las encuestas, lo cual naturalmente provocó un importante desarrollo de la profesión.
Al mismo tiempo, el acierto predictivo de varias encuestas de 1983 alentó el empleo periodístico de la herramienta, a pesar de algunos resonantes fracasos. El tiempo cimentó la reputación de los encuestadores más serios, con lo que se fue formando un mercado más estructurado. En algunos casos, los candidatos resolvieron hacer campaña en contra de encuestas que los desfavorecían y descuidaron comunicar sus propuestas, pero las siguieron necesitando para tener pronósticos, que pasaron a ser un requerimiento central de las encuestas.
Desde el inicio, el valor predictivo de las encuestas fue tendencialmente bueno, pero a veces resultó desacertado. Está claro que un instrumento basado en la estadística inferencial informa acerca de lo que está sucediendo pero no está preparado para anticipar lo que sucederá. Para esto, muchos investigadores procuraron recurrir a diversos recursos, como modelos de múltiples variables y técnicas de proyección de tendencias. Pero fenómenos humanos del tipo de los procesos electorales tienen una complejidad que obstaculiza eliminar la incertidumbre. Por otro lado, por su misma naturaleza, las campañas electorales procuran, precisamente, influir hasta último momento en los resultados. Así, aun cuando tuviesen una capacidad predictiva robusta, las encuestas entran en conflicto con quienes hacen uso de la información que proporcionan para tratar de modificar los resultados predichos. En un sentido bastante literal, el éxito de unos implica el fracaso de los otros.
Los fracasos recientes
En estos días se habla mucho del fracaso de las encuestas. Efectivamente, una serie de resonantes resultados electorales en distintos lugares del mundo contradijeron los pronósticos de los encuestadores, entre los que están el plebiscito en el Reino Unido sobre la permanencia británica en la Unión Europea (brexit), el realizado en Colombia sobre la paz con la guerrilla y la elección presidencial en los Estados Unidos. También hubo fracasos de magnitud en encuestas electorales en la misma Colombia, Panamá, Costa Rica, Chile, en parte en la Argentina en 2015, Gran Bretaña, España y otros países. Pero también hubo aciertos igualmente resonantes, como sobre la reciente elección presidencial en Perú.
En el pasado siempre existieron pronósticos equivocados basados en encuestas, compensados por otros pronósticos verificados, pero ahora la seguidilla de fracasos parece no encontrar compensación. En parte esto se debe a que los desaciertos recientes lo han sido sobre situaciones de importancia crucial en los respectivos países, y a que los resultados efectivos de las votaciones fueron muy parejos. Estrictamente hablando, las estimaciones de una encuesta indican probabilidades de obtener ciertos resultados con determinados márgenes de variación. Así, en la reciente elección presidencial norteamericana, las encuestas nacionales predijeron con acierto los resultados globales dentro de los márgenes de variabilidad aceptados, y de hecho Hillary Clinton ganó la votación popular con números no muy distintos de los que anticipaban las encuestas.
Trump, no obstante, ganó en unos pocos estados en que las encuestas lo daban por perdedor, y en virtud del particular sistema de conformación del colegio electoral, esos estados le permitieron alcanzar la mayoría de electores. En esos estados, sin duda, hubo algo que falló en las encuestas, sobre lo que se han elaborado múltiples explicaciones ad hoc.
Un excelente análisis publicado en el New York Times (Nate Cohn, Josh Katz & Kevin Quealy, ‘Putting the Polling Miss of the 2016 Election in Perspective’, 13 de noviembre de 2016) sostiene que se debió a dos errores. Uno es atribuible a las encuestas, consistente en un muestreo defectuoso por la subrepresentación de los votantes blancos con baja educación habitualmente empleados que hoy no lo están. El otro error fue la equivocada estrategia de la campaña de Clinton, en parte inducida por las encuestas, que descuidó los estados del norte y nordeste en los que ese fenómeno es más marcado. El defecto de muestreo, según los firmantes de la nota, es más general, pero sus consecuencias se magnifican en estados en que esa población es proporcionalmente más numerosa. Coincido en que las muestras en uso subestiman a algunos segmentos poblacionales, algo que también sucede en la Argentina.
Una dificultad adicional es la predicción de cuántos votarán. Mucha gente no admite de antemano que no votará, o decide a último momento no hacerlo. La baja tasa de votantes explica en alguna medida la derrota de Clinton en determinados estados, el triunfo del brexit y el rechazo del acuerdo de paz en Colombia.
Problemas técnicos
A lo anterior de suman dificultades técnicas. El método original requería normalmente valerse de muestras probabilísticas de la población, es decir, muestras en las que todos los individuos que la componen tengan igual probabilidad de ser incluidos. Para eso se necesita una lista completa de todos ellos. En la década de 1950 Germani intentó vanamente producir esa lista entre nosotros y obtuvo enormes subsidios de la universidad y de algunas fundaciones, pero no lo logró porque en términos prácticos es inviable. De ahí que la práctica universalmente aceptada haya sido proceder por etapas sucesivas.
Esto significa que, por ejemplo, primero se zonificaba el territorio, luego se sorteaban las zonas, después se seleccionaban al azar hogares en cada zona elegida y por último se identificaban al azar personas a encuestar en cada hogar retenido. Las personas sorteadas ausentes del hogar se buscaban en pasos sucesivos y, si no se las ubicaba, se las reemplazaba también por procedimientos aleatorios. Todo el operativo se sometía a fuertes controles y su ejecución se supervisaba en el terreno.
El proceso de colectar la información era lento y costoso, aun cuando para acortar el tiempo fuese realizado con muchos encuestadores y supervisores (si se lograba reunirlos y entrenarlos). Procesar una encuesta desde el comienzo hasta el final tomaba varios días, a menudo más de una semana, aunque eso era exiguo comparado con los tiempos usuales en los proyectos de las universidades, que podían insumir varios meses (por eso los académicos tendían a mirar a sus colegas de las consultoras con escepticismo).
El desempeño de los encuestadores es otro factor que puede deteriorar la calidad de las encuestas, sobre todo si están mal entrenados, son poco supervisados y hasta procuran deshonestamente torcer las opiniones de los encuestados. Igualmente contribuye a que haya escepticismo sobre las encuestas la difusión deliberada de datos falsos para influir en el resultado electoral.
Otra cuestión problemática es que, estrictamente, una muestra nacional es impracticable, como lo ilustra la reciente elección de los Estados Unidos. El método sustitutivo aceptado es componer una muestra de alcance nacional por la suma de muestras locales, lo cual no es lo mismo. El margen de variabilidad (llamado a menudo margen de error) de tal muestra resulta de la sumatoria de márgenes locales, los cuales -tratándose en cada caso de muestras más pequeñas- contienen cada uno mayor variabilidad que una hipotética muestra nacional. No tengo dudas de que en esto reside la causa de muchos fracasos, tanto en la Argentina como en otros países. Esta dificultad no tiene solución y solo se puede explicar, en forma honesta, cuales son los reales márgenes de variabilidad.
En los últimos tiempos, el mercado demandó encuestas cada vez más rápidas, lo que llevó a la idea de las encuestas de boca de urna, realizadas y procesadas el mismo día de la votación. Su utilidad tiene duración ínfima: unas pocas horas, hasta que se difunde el recuento oficial, y su interés periodístico es efímero, excepto en los casos en que el recuento efectivo de los votos resulta puesto en duda. La industria aceptó el desafío de esas encuestas, lo cual se tomó como evidencia de que es posible reducir los tiempos de ejecución a pocas horas.
La demanda de resultados en tiempos cortos y a costos al alcance de clientes con limitaciones presupuestarias llevó en muchos países al uso de muestras no probabilísticas llamadas muestras coincidentales o casuales. Consisten en elegir a los encuestados en forma puramente casual, por ejemplo, deteniendo a gente en lugares muy concurridos y encuestando a los que acepten responder. También se pasó a las encuestas telefónicas, que obviamente dejan afuera a la población sin acceso telefónico.
Variedades de las últimas, que los lectores seguramente conocen por haberlas padecido, se llaman CATI (computer-assisted telephone interviewing), ACTI (automated computer telephone interviewing) y encuestas por IVR (interactive voice response), que reducen sustancialmente la intermediación humana o prescinden de ella en el proceso de recolección de datos. A veces estos métodos logran buenos pronósticos y otras veces son útiles para entender qué está pasando o para respaldar decisiones sobre tácticas de campaña, como lo pueden ser las investigaciones que arrojan resultados cualitativos, por ejemplo, los grupos de discusión (focus groups). Pero son procedimientos limitados para entender de una manera más profunda las complejidades del mundo real. Conocerlas requiere de instrumentos más complejos que los utilizados por las encuestas electorales.
Un problema adicional, agravado por los métodos indicados en el párrafo anterior, es el enorme aumento del número de personas que se niegan a responder. En los tiempos iniciales de las encuestas se consideraba razonable que hasta un 25% de los interrogados no contestara; hoy esa fracción ha crecido al punto de introducir un sesgo incontrolable en las muestras. Tampoco este problema tiene solución a la vista, aunque, es posible que, de las opciones disponibles, se tienda a emplear más las investigaciones cualitativas o a volver a la lógica de Kish de recurrir a muestras pequeñas muy controladas. Esto será más costoso: si el mercado no acepta el mayor costo, se seguirá consumiendo productos de calidad dudosa.
Siempre han existido críticos de las encuestas, si bien entre ellos hubo quienes esgrimieron argumentos superficiales y otros que las atacaron motivados por intereses. La encuesta por muestreo fue habitualmente cuestionada por quienes no aceptan la lógica de la estadística inductiva y del muestreo probabilístico, o que cuestionan su aplicación a las sociedades humanas. Por otra parte, los investigadores académicos tienden a cuestionar lo que consideran la ligereza de algunas interpretaciones, la endeble base estadística que suele respaldar determinadas conclusiones y, por cierto, la calidad de las muestras.
Cuando la realidad cambia
Un problema de otra naturaleza es la realidad a la cual se aplican los instrumentos de observación y análisis. Una encuesta trabaja con una masa densa de información que en cada caso es cerrada: lo que no se preguntó en un cuestionario queda enteramente fuera de la encuesta, la cual solo mide lo incluido en el instrumento de medición.
El ojo clínico de un investigador experimentado puede, sin embargo, hacer inferencias posteriores. Además, dispone de un auxilio importante: encuestas anteriores que produjeron datos comparables, con los que se pueden construir series temporales. Tales series proporcionan aval riquísimo para respaldar inferencias. Pero, a la vez, cuando se produce un cambio inesperado de tendencia, surge siempre la pregunta sobre si habrá cambiado la realidad, se tratará de un efecto de campañas de comunicación o será producto de un error de medición. Esas posibilidades alternativas, consideradas por el investigador, carecen de todo interés para quien consume la información, sea el candidato a un cargo electivo, el equipo que conduce una campaña política o comercial o el lector del diario que publica la encuesta.
Cuando las variaciones de la tendencia que revela una serie temporal resultan de cambios ocurridos en la mente de las personas estudiadas, el desafío para el investigador es mayúsculo, pues tiene que entender a la vez la dinámica interna de un proceso y los factores del entorno que lo desencadenan. Esto pasa acentuadamente en el mundo de hoy, en el que la gente muta con facilidad sus preferencias o intenciones, algo que en materia política solemos llamar volatilidad electoral. Los factores reales que antes determinaban en buena medida el voto, como la familia, la posición socioeconómica o la simpatía por un partido, están perdiendo influencia, y muchos votantes consideran que nada los apura ni los fuerza a tomar una decisión temprana. Algunos investigadores se amparan en este hecho para justificar su mal desempeño predictivo. Es su manera de decir ‘mi herramienta no sirve para eso’, en cuyo caso la pregunta inmediata a hacerles es: ¿para qué sirve? Y además, ¿qué herramienta sirve para eso? Porque, si las encuestas fueran de utilidad, deberían servir para cualquier situación y cualquier realidad, previsible o cambiante. Los problemas técnicos, cuando se los identifica, deben ser resueltos.
La volatilidad electoral magnifica las consecuencias de un factor técnico de las encuestas rigurosas por muestreo, a saber, el tiempo necesario para realizarlas. Aun llevado al mínimo, para publicar predicciones sobre la hora de los comicios, seguramente se necesita interrogar a encuestados entre 10 y 20 días antes, de suerte que la encuesta no refleja lo que piensan cuando llegó el momento de votar sino una pasada intención.
Aceptado que el mundo está cambiando y que la política está tornándose más volátil, de todos modos podemos presumir que la democracia continuará existiendo y, por lo tanto, que los gobernantes seguirán siendo elegidos mediante el voto popular. El mundo seguirá necesitando las dos principales funciones que vienen dando razón de ser a las encuestas por muestreo: influir en las estrategias de comunicación y anticipar el resultado de las votaciones, es decir, seguirá habiendo campañas electorales y se continuará haciendo pronósticos. Dos funciones casi tan antiguas como las sociedades humanas, para las cuales este invento que data de unos ochenta años atrás, imperfecto como es, resulta más útil que cualquier otra cosa conocida hasta ahora.
No se me escapa que están en oferta dos alternativas a la encuesta por muestreo cuya efectividad todavía no ha sido demostrada: la que proviene de los desarrollos más recientes de las neurociencias, a los que subyace un determinismo distinto pero de la misma clase que antiguos determinismos extra individuales; y la que proviene del análisis por computadora de la masa inconmensurablemente grande de información que proporcionan las mismas personas sin proponerse hacerlo por sus consultas a sitios de internet, sus teléfonos celulares y los dispositivos incorporados a ellos, sus tarjetas de crédito y otras vías (que suele llamarse big data). Tal vez en algún momento próximo haya que dedicar más atención a esos caminos alternativos cuando se hable de influir y pronosticar. Pero el tema de esta nota se centra en las encuestas.
Lecturas sugeridas
Sobre las encuestas y su método en general, hay abundantísima bibliografía. El libro de Johan Galtung: Teoría y método de la investigación social (Buenos Aires, Eudeba, 1978), si bien es prehistórico en lo referido a la tecnología y los enfoques actuales en materia de procesamiento de datos, sigue ofreciendo una visión de conjunto del tema plenamente vigente.
Sobre el campo de la opinión pública como objeto de una disciplina de estudio y, más específicamente, la comunicación política, puede verse:
Arnaud Mercier (ed.): La comunicación política (Buenos Aires, La Crujía, 2012).
Mora y Araujo, Manuel: El poder de la conversación. Elementos para una teoría de la opinión pública (Buenos Aires, La Crujía, 2012).
Elizabeth Noelle-Neumann: La espiral del silencio (Buenos Aires, Paidós, 1995).
Vincent Price: La opinión pública (Barcelona, Paidós, 1992).
La Revista Latinoamericana de Opinión Pública, publicación de la World Association for Public Opinion Research (WAPOR-sede Buenos Aires), que se edita actualmente bajo el sello editorial de la Universidad de Tres de Febrero, es un excelente medio para mantenerse al día acerca de los aportes y las discusiones corrientes en esta disciplina.
Sobre el tema de las predicciones en las ciencias sociales es muy vigente la discusión propuesta por Nate Silver en The signal and the noise. Why so many predictions fail but some don’t (New York: Penguin Press, 2012).