Por Daniel Mordecki – 16/10/2011

Son pocas las oportunidades en que simultáneamente y por caminos separados se realizan una encuesta y un censo sobre el mismo tema y la misma población. Es una oportunidad única, porque contrastando la encuesta contra el censo se puede validar la calidad de la primera.

Ese es el caso del informe de la Consultora Data Media (www.datamedia.com.uy) titulado “Lectoría de prensa: la lectura digital alcanzó a la lectoría papel” y del informe mensual de tráfico del Bureau Uruguayo de Publicidad Interactiva (IAB – www.iab.com.uy).

La encuesta es “un dossier de distribución digital por suscripción gratuita elaborado por la consultora para medios, clientes y amigos”, tal como lo explica el informe de Data Media en su última página. La encuesta fue realizada de forma telefónica con un formulario cerrado a individuos de Montevideo mayores de 11 años, del 1ero al 15 de julio de 2011, en base a 800 casos con un margen de error de +/- 2.8%.

El censo es el resultado de un acuerdo promovido por el IAB por el que voluntariamente y a su costo, los medios digitales que optan por participar contratan a la empresa Certifica, la que con un método único, uniforme e independiente, mide el tráfico real (100% de las visitas) de los sitios Web de los medios de una forma comparable. El IAB  publica un informe mensual de resumen de estos datos.

La información

En la página 6 del informe de Data Media contiene la siguiente información:

“El dato: Cobertura y promedio diario en día hábil de lectores de prensa digital

El País Digital lidera la cobertura de lunes a viernes en día hábil (individuos distintos que leen al menos una sección) si bien los lectores promedio por día los lidera Montevideo.com producto de una mayor fidelidad en el ingreso por día.”

Por su parte, en la pestaña de Ranking por propiedades del IAB, figura la siguiente tabla:

Julio de 2011 – Ranking Propiedades:

Una pregunta

Este apartado debería llamarse algo así como “conclusiones”, pero en realidad: ¿Es posible o necesario sacar alguna conclusión?

Los números no resisten ningún análisis de ningún tipo, no hay correlación de ninguna clase que pueda suponer que la encuesta refleja de alguna forma remota los datos reales del censo.

Por ejemplo, la correlación entre la encuesta y el censo (para los medios que coinciden entre ambos) es la siguiente:

Los números no solamente dejan fuera la pretensión de un error de +/- 2.8%, sino que contradicen toda la teoría estadística, porque en una muestra tienen mucha más probabilidad de aparecer los casos más frecuentes, lo que significa que el medio de más tráfico es el que debe tener la diferencia menor. Dicho en plata: es 20 veces más probable encontrar lectores de El País que de 180.

Otro ejemplo que rompe los ojos: en el censo El observador es 3.6 veces mayor que 180. En la encuesta 180 es 12% mayor que El observador. Interesante ¿no? En el censo El País es 2.7 veces mayor que Montevideo.comm, en la encuesta esa diferencia se reduce a 16% de ventaja. ¿Cómo hicieron? Y así podríamos seguir durante horas.

Se pueden pensar extrapolaciones y justificaciones de naturaleza variada, y ninguna explica un cuadro de datos semejante. Si el censo no estuviera disponible, tal vez se podría elucubrar algún tipo de justificación, pero con la información de calidad a la vista y de acceso universal no caben atenuantes: la encuesta es una distorsión de la realidad.

Y acá viene la pregunta ¿No les da vergüenza? La respuesta es SI, porque sin aviso ni advertencia retiraron la encuesta del sitio. Pero el daño ya está hecho: las notas que anuncian sus resultados siguen transmitiendo al mundo disparates disfrazados de ciencia en decenas de medios, entre los que se cuentan montevideo.com, 180 y canal 10, entre muchísimos otros.

Imagine que alguien hace una encuesta preguntándole al 100% de los electores: es decir, en vez de hacer 1000 o 5000 encuestas hace 2 millones trecientas mil.

¿Obtendría así el mismo resultado que en el escrutinio? Es evidente que no, que el resultado sería distinto. Eso es el error de la encuesta.

Ahora comience a achicar la muestra. Con ello aparece un nuevo problema, que es el de si los encuestados representan o no al total de la población. Eso es la confianza de la encuesta.

Los que hacen y publican encuestas deberían hablarnos claramente de los dos valores.  ¿Por qué? Porque de otro modo no se puede explicar que encuestas que supuestamente tienen +/- 3% de margen de error hayan incluido los siguientes pronósticos:

Partido Colorado:
pronóstico 14%  ||  escrutinio 18% || error: 1-18/14 -> 18%

Voto Epistolar:
pronóstico 48%  ||  escrutinio 38%  ||   error: 1-38/48 -> 21%

La pregunta clave es esta: ¿cuál es la probabilidad de que todas las encuestadoras todas las veces obtengan un resultado tan errado y tan homogeno para estos valores? Es decir, si la población tiene una intención de voto real de 18% para el Partido Colorado, ¿cómo no apareció ningún resultado de 17%,  18% o incluisve de 22%? Según las reglas de la probabilidad, deberían haber aparecido.

Y de la boca de urna, mejor ni hablar.

Suscribase a este blog

Después que pasó la elección, es posible comparar lo que las encuestadoras dijeron que iba a suceder con lo que realmente sucedió.

Dijimos en 2004…

…parece que nada ha cambiado.

Ingeniería reversa

En las internas del 28 de junio de 2009, si consideramos los 6 candidatos principales: Mujica, Astori, Carámbula, Lacalle, Larrañaga y Bordaberry, y las 5 encuestadoras que aparecen habitualmente en los medios: Cifra, Equipos, Factum, Interconsult y Radar, tenemos 30 pronósticos.

Para analziar si los pronósticos de estas encuestadoras para estos candidatos fueron certeros, se utiliza una metodología muy simple, que no requiere más que un poco de aritmética elemental:

• Se fija un margen de error en porcentaje
• Para cada encuestadora y candidato, se calcula el valor absoluto del error y a partir de él los valores
  • Borde Inferior = pronóstico – VA error
  • Borde Superior = pronóstico + VA error
• Si el pronóstico está dentro del rango [Borde Inferior | Borde Superior] se cuenta un acierto. De lo contrario se cuenta un fallo.

Los resultados

Después de hacer todos los cálculos, el cuadro de resultados es el siguiente:

Aciertos y fallos de las encuestas en las internas de 2009

El cuadro se interpreta de la siguiente forma: si aceptamos un márgen de error de 5%, las encuestadoras acertaron un 37% de los valores y erraron un 63%. Otra forma de interpretarlo puede ser que para tener un 70% de aciertos, es necesario aceptar un 12% de error sobre los valores.

Sea cual sea la interpretación, está a la vista que los márgenes de error de los pronósticos de las encuestas son muy importantes y sobre todo, significativamente mayores que lo que las empresas encuestadoras y los presentadores de encuestas pretenden.

Vea el trabajo completo en el que se basa este estudio

Suscribirse a este Blog

Microsoft tiene a Google entre ceja y ceja. Y no es para menos: Google crece imparable, conquistando servicio tras servicio y mira de reojo las joyas de la corona: Windows y Office, que permanecen aún inexpugnables.

Si se toma en cuenta el capital inconmensurable que Microsoft ha invertido en Internet, los resultados son magros:

• MSN como uno de los líderes en el mercado de aplicaciones de chat.
• Hotmail, el primer correo electrónico gratuito de Internet, adquirido hace ya unos cuantos años.

El resto de los intentos de Microsoft de liderar proyectos en Internet han producido resultados muy pobres, desde la red que iba a competir con Internet, bautizada como The Microsoft Network (de allí MSN…), la alianza con NBC para generar contenido, el proyecto Passport para registrar a todos los usuarios del mundo y el proyecto Live, que todavía no entendí exactamente qué es.

Ahora viene Bing, un buscador que parte de la interfaz e interacción de Google y sobre él construye una propuesta con personalidad propia. En mi opinión, es la primera vez que un intento de Microsoft no trasluce esa impresión de querer conquistar el mundo (este debe ser como mínimo el cuarto intento de buscador). No hay que registrarse, no importa si la versión de Windows está validada, no pelea para habilitar el Firewall de Windows, no pone un alerta de “¡Su equipo puede estar en peligro!”, no se necesita usuario de Hotmail o Live: Bing está ahí y funciona. ¡¡¡Y lo hace rápido!!!

La pregunta clave es: ¿podrá desplazar al buscador de Google? La respuesta obvia es no, por lo menos a corto o mediano plazo. Pero, y siempre hay un pero, parece que Microsoft después de muchos intentos y de mucho dinero dilapidado aprendió un par de lecciones: que en Internet las cosas tienen que funcionar sin preámbulos, que la complejidad tiene que estar “tras bambalinas” al servicio de que la interacción sea extremadamente simple y que los sitios tienen que ser rápidos. Cuando un gigante con la experiencia y los recursos de Microsoft empieza a matar vacas sagradas y aceptar las premisas del mercado, hay que poner las barbas en remojo.

Suscribirse a este Blog

“Matar a Google” es un objetivo deseado por muchos. Hace unos meses fue CUIL, un buscador desarrollado por tres notorios Ex Google, que fracasó con elegancia y contundencia. Ahora es Wolfram Alpha…

Wolfram Alfa es un proyecto liderado por Stephen Wolfram, fundador de Wolfram Research (cuanto autobombo, no?), la empresa creadora de Mathemática, uno de los paquetes de más difundidos para el trabajo dentro de esa disciplina. Se autodefine como un proyecto de largo plazo para poner a disposición de forma inmediata todo el conocimiento computable: un objetivo ambicioso, sin duda.

¿Qué se precibe en una primera mirada?

• La mayoría abrumadora de las clavles de búsqueda no arrojan resultado alguno.
• Los resultados son pobres, escuetos. Elije lo que cree que es conveniente, sin dar más opciones.
• Los resultados son razonables sólo cuando entramos en dominios numéricos, de cálculo o fuertemente vinculados con ellos.

Lo interesante es la fanfarria con que comparan el nuevo proyecto con Google, tal como pasó con Cuil, y analizan si Google debe cuidarse, qué porción de mercado va a tomar y una serie de apreciaciones complementarias.

Mientras tanto, Google sigue trabajando silencioso. Hace unos días gregó a la busqueda de imágenes la posibilidad de filtrar por tipo (rostro, clip art, dibujo lineal, noticias o foto) y por color (imágenes con predominancia de rojo, azul, amarillo, etc). Fantástico, increible, silencioso.

Mi pronóstico: Wolfram Alpha tiene estos días sus 5 mintuos de gloria. Van a pasar y no va a hacer ni cosquillas al dominio monopólico de Google en las búsquedas.

Suscribirse a este Blog

¿Por qué la gripe porcina se disparó al primerísimo lugar de los espacios mediáticos?

Esto no es una nota sobre la gripe porcina o sobre enfermedad alguna, ni sobre su gravedad absoluta o relativa. Es sobre su cobertura mediática, en la que los espacios dedicados la enfermedad pueden compararse solamente con los quince minutos de noticias policiales que abren todos los informativos televisivos “prime time”.

¿Es definitivamente tan relevante la noticia sobre una enfermedad razonablemente benébola, de la que hay apenas unos cientos de casos en el mundo y una vacuna a 6 meses de distancia?

Tomemos un caso ineludible como comparativo: el dengue. Sólo en Argentina se registraron 7.800 casos, más de 10 veces los casos de gripe porcina en el mundo entero. En Brasil, sólo en 2009, se llevan registrados 115.000, por suerte sensiblemente a la baja con respecto a 2008, pero una cifra que refleja que el problema aún dista de estar controlado.

Dengue en el mundo. Rojo: dengue hemorrágico Azul: aedes aegypti

Sin embargo el dengue desapareció de las pantallas, parlantes y quioscos.

Los periodistas no tienen la exclusividad ni llevan la delantera, justo es decirlo. Decisiones como las del gobierno de Egipto de matar a 400.000 cerdos a pesar de que es absolutamente inútil, o actitudes rayano en lo xenófobo como las de Bachellete y Uribe, prohibiendo la entrada de jugadores de futbol mexicanos son incalificables.

No se me ocurre una justificación razonable para este bombardeo mediático al que nos someten.

Suscribirse al Blog

No se me ocurre ninguna situación en la que un Ascensorista, es decir un señor o señora que apreta los botones en vez de apretarlos vos mismo, tenga alguna utilidad.

Cuando te encontrás con un ascensorista no necesitas dudar demasiado: estás ante una organización burocrática que no cuida su dinero. Y ojo, no solo los organismos públicos tienen asensoristas, de memoria me acuerdo de dos privados: el Casmu y el edificio Artigas en 33 y Rincón. (estoy seguro que los lectores van a aportar otros).

Si en el parlamento redujeron 100 puestos, ¿era tan, tan dificil eliminar también los ascensoristas?

Suscribirse a este Blog

nota: Gracias rossellino, ortografía corregida

Se que me van a llover las críticas, pero es irresistible: la ridiculez de la ley de “Tenencia responsable de animales” supera mi capacidad de asombro.

Tomemos como ejemplo el artículo 3:  “El sacrificio de aquellos animales no destinados a la alimentación, a actividades productivas o a ritos religiosos, sólo podrá realizarse con supervisión de médico veterinario y para poner fin a sufrimientos producidos por vejez extrema, lesión grave o enfermedad incurable o cualquier otra causa física irreversible, sin perjuicio de aquellas acciones vinculadas a la defensa propia o de un tercero”

Impresionante, sublime. Quién decide qué es un “rito religioso”. ¿Dios?

¿Qué pasa con las cucarachas? Son domésticas porque están en mi domicilio y matarlas no es ni para la alimentación (por lo menos la mía), no es productiva y no es (aún) un rito religioso. ¿Tengo que llamar a un veterinario? O tal vez esperar a que lleguen a la vejez extrema.

¿Y el Aedes Aegypti? ¿quién lo defiende? ¿eh? Y como dice Dolina: ¿Usted es ecologista de las hormigas o de los osos hormigueros? ¿Con qué criterio se privilegia a un determinado pollo y se tolera de forma insensible que a otros tiernos animalitos los pasen a cuchillo para integrar la mesa familiar? Y la vaca que con tanto esmero come el pastito: ¿Quién la defidende cuando la hacemos asadito?

¿Y los ratones? Ese tierno animalito al que tanto espacio ha dedicado la televisión y que llena el corazón de nuestros niños: ¿se le pueden poner trampas con rico quesito que cuando lo tocan le atraviesa el cuerpecito con un clavo y los destroza o está prohibido? ¿Con quién estamos, con Tom o con Jerry?

Pero para terminar de cerrar el círuculo, 12 instituciones dedicadas al tema estuvieron en desacuerdo porque “el proyecto no protege a los animales, sino a los intereses humanos”.

(¡¡¡Sáquenme de acá!!!)

Leer el resto de esta entrada »

En Rio Branco y San José hay hace semanas un pequeño pozo. Tenía una baliza que se la llevaron por delante tantas veces que quedó destruída. ¿Arreglaron el pozo? ¡¡¡No!!! Pusieron una baliza nueva.

La baliza destruida y su hermana recién llegada

Vista desde el semaforo por Rio Branco

Algunos apuntes:

- ¿No es más razonable arreglar el pocito que agregar otra baliza? (menos de un metro cuadrado)

- San José y Rio Branco ¿Es un punto de baja importancia en el tráfico montevideano?

- Si chocas ese pedazo de fierro y rompés todo el frente del auto ¿Quién paga el arreglo?

- Si chocas ese pedazo de fierro y rompés todo el frente del auto ¿Tenés que pagar la baliza aplastada?
Suscribirse a este Blog

En la tertula de “El Espectador”, Antonio Mercader manifestó su sorpresa ante las diferencias que presentan las encuestas. Veremos si podemos echar un poco de luz sobre el tema.

Cuando los “analistas” cuentan los resultados de sus encuestas por los medios, en una hiper-reducida ficha técnica incluyen el dato del margen de error. Se trata sin lugar a dudas de un uso concientemente distorsionado de los conceptos.

Errores

Expliquémonos: Supongamos que queremos saber cuántos habitantes de Uruguay prefieren la cerveza con espuma. Entonces hacemos un censo (vamos habitante por habitante) y definimos quién prefiere la cerveza con espuma y quién no.  Dado que hay ciudadanos que no tienen preferencia al respecto, es razonable esperar que exista un porcentaje de la población, supongamos un 5%, en el que no podemos definir si prefieren la cerveza con o sin espuma. Esto producirá un margen de error en el resultado.

Ahora para ahorrar costos realizamos una encuesta (le preguntamos a una parte de la población, más allá de cómo los elija) en vez de un censo. El error lo ocasiona el mismo problema, la imposibilidad de determinar en un 5% de los casos si a un individuo le gusta la cerveza con o sin espuma. El punto es que entra a jugar otro elemento: la probabilidad de entrevistar a las personas adecuadas y es ahí que entran a jugar los intervalos de confianza.

Intervalos de Confianza

No se requiere de estadística demasiado sofisticada para determinar a partir de una muestra (es decir una selección de individuos) cuánto podemos confiar en el resultado, es decir, qué probabilidad tenemos de que la encuesta sea representativa. Las encuestas políticas se manejan habitualmente con un 95% o 97% de confianza de que los valores sean representativos.

Intervalo de Confianza es MUY distinto que Margen de Error.

El punto es que la naturaleza del margen de error y del intervalo de confianza es muy distinta.

Cuando hablo de margen de error en un censo, estoy absolutamente seguro de las preferencias de quienes contestan sin problemas, o sea del 95% de la población para el ejemplo de la cerveza con o sin espuma.

Cuando hablo de intervalos de confianza, nadie me garantiza nada. Es muy probable, tomemos 95% de probabilidad, de que el censo de muy parecido (no idéntico) a la encuesta. Pero hay un 5% de probabilidad de que de radicalmente distinto, es decir, que de justo tuve la suerte que los mil tipos preferían todos cerveza con espuma, o sin espuma y la encuesta no represente para nada a la población. Que la muestra NO sea representativa ES UNA PROBAILIDAD REAL, sucede en la práctica y no hay antídoto para prevenirlo.

¿Cuál es la probabilidad de que las 5 encuestadoras den los mismos resultados?

En Uruguay andan en la vuelta 5 encuestadoras: Equipos, Cifra, Interconsult, Radar y Factum. ¿Qué probabilidad hay de que den todas parecido? O dicho de otra forma, ¿qué probabilidad hay de que las 5 a la vez sean representativas del censo de la población?

Considerando intervalos de confianza de 95%, la probabilidad es

0.95 x 0.95 x 0.95 x 0.95 x 0.95 = 0.774

Es decir, la probabilidad de que las 5 encuestas “coincidan” con respecto a un dato, es de un 77%, menos que la probabilidad de tirar el dado y que NO salga 6.

Visto de otra forma, en más o menos una de cada cinco encuestas, alguna de ellas tiene que dar bien distinto que las demás. No un poquito, sino distinto de verdad.

Es más complicado, o más simple, depende como se lo mire

Pero esto es para UN dato: ¿con o sin espuma? Las encuestas preguntan muchas cosas y eso hace que la probabilidad de que todas coincidan baje en picada, y calcularlo es sensiblemente más complicado.

Sin embargo la conclusión es más simple: las encuestas, si siguieran los modelos matemáticos, deberían dar permanentemente diferencias significativas, y cada tanto tirar algún disparate del estilo de que el 90% de los uruguayos preferimos cerveza con espuma.

Esto genera, por lo menos para mí, más suspicacias que confianza sobre los resultados de las encuestas.

Más en la próxima. Prometido.

———————————————

Artículos sobre las encuestas en uruguay en mordecki.com

Sobre la Validez de las Encuestas
Episodio II – Sobre la validez de las encuestas

———————————————

Suscribase a este BLOG