Muestreo basado en modelo en investigación de mercados

Cada vez que una empresa de investigación de mercados entrega una cifra —cuánta gente conoce una marca, qué porción de un segmento compraría un producto, cómo se mueve la satisfacción— alguien reparte presupuesto con ese número. Si la cifra está sesgada, el dinero se asigna mal. Y hoy esa cifra casi nunca se obtiene a partir de una muestra aleatoria pura.

Ahí está el problema que vamos a recorrer. Durante décadas, una firma encuestadora marcaba números de teléfono al azar y confiaba en que la aleatoriedad hiciera el trabajo de representar a la población. Ese mecanismo se desgastó. Las técnicas de muestreo basadas en modelos surgen para cubrir ese vacío: en lugar de confiar en el azar, utilizan un modelo estadístico y datos poblacionales conocidos (censos, registros) para corregir la muestra. El modelo asume el peso que antes recaía sobre la aleatoriedad.

A continuación, las tres familias principales, el problema concreto que cada una resuelve y dónde sigue quedando corta.

El problema de fondo: por qué el muestreo probabilístico ya no le alcanza a una empresa encuestadora

El muestreo probabilístico —en el que cada persona tiene una probabilidad conocida de ser seleccionada— fue el estándar de oro de la investigación de mercados durante sesenta años. Su atractivo era que requería pocos supuestos: si la selección es realmente aleatoria, la representatividad se sostiene por sí sola.

Dos cosas lo erosionaron. Primero, la gente dejó de contestar. Pew documenta que la tasa de respuesta de una encuesta telefónica típica cayó del 36% en 1997 al 6% en 2018. Segundo, el celular vació los directorios de la línea fija en los que se construían las muestras. El resultado fue una migración masiva hacia los paneles online, en los que las personas se inscriben por propia voluntad. Y un panel de voluntarios no es un retrato aleatorio del país: quien se inscribe tiende a diferir de quien nunca lo haría.

Conviene un matiz, porque es donde muchos se equivocan. Una tasa de respuesta baja no implica, por sí sola, un sesgo grande. El sesgo aparece cuando la disposición a responder se relaciona con aquello que se mide. Por ejemplo, las encuestas tienden a sobreestimar el voluntariado, porque quien hace voluntariado responde con más gusto una encuesta sobre vida cívica. La pregunta que enfrenta hoy cualquier empresa encuestadora dejó de ser "¿Mi muestra es aleatoria?" y pasó a ser "¿Mi modelo es correcto y tengo las variables auxiliares adecuadas para corregir?".

Calibración y ponderación: cómo corregir un panel online desbalanceado

El problema. Su panel tiene demasiada gente de un grupo y muy poca de otro en relación con la población real. Suponga un 60% de mujeres en el panel cuando el país tiene 51%, o un exceso de personas con título universitario. Los promedios crudos se inclinan hacia quienes sobran.

La solución. Reponderar. Se le da más peso a quien está subrepresentado y menos a quien sobra, hasta que la muestra reproduzca los totales conocidos del censo. Cuando solo se conocen los totales por separado (cuántos hombres, cuántas mujeres, cuántos jóvenes), se usa  el ranking; cuando se tiene la tabla cruzada completa, se post-estratifica; el estimador GREG agrega una corrección de regresión basada en variables auxiliares. La ventaja práctica explica por qué es la herramienta diaria de casi toda empresa de investigación de mercados: es barata, un solo juego de pesos sirve para todo el cuestionario, y aun cuando la corrección sea imperfecta, partiendo de una buena muestra, el resultado se mantiene cercano a lo correcto.

¿Dónde sigue corta? Corrige lo que puedes medir: edad, sexo, región, educación. No dice nada sobre cómo difieren los que se inscriben de los que no en aquello que no midió, como las actitudes o la intensidad de consumo de la categoría. Puede igualar la parrilla de edad por sexo del censo a la perfección y seguir sobrerrepresentando a los compradores intensivos o a los líderes de opinión. Su fiabilidad aumenta en la medida en que las variables de ponderación predigan dos cosas a la vez: quién participa y qué se mide.

Inferencia basada en modelo: estimar cuando la muestra es pequeña

El problema. Necesita una cifra para un grupo pequeño o una ciudad pequeña, donde tiene muy pocas entrevistas, demasiado pocas para estimar con confianza. Por ejemplo, un segmento premium de nicho, o una ciudad intermedia dentro de un estudio nacional.

La solución. Construir un modelo que relacione variables auxiliares —que usted conoce para toda la población— con el resultado de interés y usarlo para predecir los valores no observados. Es la idea de superpoblación de Royall: tratar la población como si la generara un modelo y estimar el total como la suma de lo que se midió y de lo que el modelo predice para el resto. Cuando el modelo acierta, la eficiencia es máxima: exprime cada entrevista. Una técnica llamada muestreo balanceado —elegir una muestra cuyo perfil ya se parezca al de la población— aporta cierta protección por si el modelo está ligeramente sesgado.

¿Dónde sigue corta? Está apostando fuerte a que el modelo sea correcto, y rara vez puede comprobarlo del todo sin un referente externo contra el cual comparar. En investigación de mercados, esos referentes limpios escasean. Por eso, esta familia tiende a trabajar en trabajos intensivos de modelamiento o de áreas pequeñas, más que en la estimación de todos los días.

MRP: inferencia poblacional desde paneles no probabilísticos

El problema. Es el más actual y el más difícil. Su único dato es un panel online de inscripción voluntaria, muy desequilibrado, y además necesita las cifras abiertas por subgrupo o por región. La reponderación sola tambalea cuando usted corta la muestra en tajadas finas, y no tiene ningún marco aleatorio sobre el cual apoyarse.

La solución. MRP, regresión multinivel con post-estratificación. Funciona en dos pasos contados en simple. Primero, se divide la población en muchas celdas pequeñas (por ejemplo, sexo por edad por educación por región) y un modelo estadístico estima la respuesta de cada celda; las celdas con pocos datos se apoyan en celdas similares, de modo que sus estimaciones no se vuelven inestables. Segundo, se pondera cada celda por su tamaño real en el censo y se suman todas. El resultado es que puede producir estimaciones poblacionales y por subgrupo a partir de datos opt-in, sin necesidad de una muestra aleatoria clásica. La prueba más citada es el estudio Xbox de 2015: una muestra 93% masculina y 65% menor de 30 años que, tras aplicar MRP, quedó a 0,6 puntos del resultado presidencial real de Estados Unidos.

¿Dónde sigue corta? Necesita una buena tabla poblacional contra la cual post-estratificar, y necesita que dentro de cada celda quienes responden se parezcan a quienes no responden. El éxito de Xbox se apoyó en predictores excepcionalmente potentes —a qué partido apoya alguien, cómo votó antes—, y el marketing rara vez cuenta con una variable tan estrechamente ligada a la conducta de compra. Además, exige un modelo distinto para cada pregunta del estudio, lo que supone bastante más trabajo que un único conjunto de pesos.

Qué dice la evidencia independiente sobre los paneles online

Vale apoyarse en Pew y AAPOR justamente porque no venden paneles: su robustez como fuentes proviene, en parte, de no tener ese incentivo.

En 28 puntos de comparación, las muestras opt-in ajustadas se desviaron en promedio unos 5,8 puntos, frente a 2,6 de los paneles probabilísticos, cerca del doble, y la brecha se amplía en subgrupos, por encima de 10 puntos en jóvenes y en población hispana (Pew, 2023). Un estudio anterior de Pew (2016) suma un hallazgo que tensa el reflejo de revisar la demografía y quedarse tranquilo: un panel cuyo perfil demográfico calzaba con los objetivos podía estar entre los menos exactos, porque lo que decide no es que la distribución general coincida, sino que, dentro de cada categoría, la gente se parezca a su contraparte poblacional. Y un trabajo de 2018 dejó la lección más rentable para la práctica: elegir bien las variables de ajuste mejoró la exactitud mucho más que aplicar métodos estadísticos sofisticados.

Debajo de todo esto hay un mecanismo que conviene mencionar. Meng (2018) mostró que cuando quien responde se relaciona con lo que responde, el error no disminuye al aumentar la muestra; incluso puede aumentar con el tamaño de la población. Un panel de millones puede cargar la información efectiva de apenas unos cientos. Más datos, sin corregir la selección, tienden a volverlo más seguro de que la cifra es equivocada. Es el límite estructural que la promesa del big data suele pasar por alto.

Queda una lente que rara vez se hace explícita. Los proveedores de investigación de mercados que venden paneles online tienen un interés económico directo en la evidencia que muestra que sus paneles igualan los benchmarks, y un documento de proveedor tiende a elegir las variables en las que se observa la coincidencia. Esto no anula esos materiales; fija la postura con la que se leen. Los estudios independientes pesan precisamente porque cartografían dónde fallan los métodos, no solo dónde lucen.

Cómo evaluar a los proveedores de investigación de mercados

La evidencia apunta más a una jerarquía de preguntas que a un ranking de técnicas. Antes de exigir un método concreto, conviene definir para qué se usará la cifra.

Cuando el objetivo es una estimación poblacional o por subgrupo que moverá presupuesto, los datos sugieren tratar las cifras de opt-in como provisionales hasta que algo externo las corrobore; la línea de AAPOR se inclina en contra de los paneles no probabilísticos para estimaciones poblacionales precisas y subraya que las estimaciones basadas en modelos a partir de esas muestras dependen fuertemente de los supuestos del modelo. Cuando el objetivo es mapear relaciones —qué tiende a mover la intención de compra—, el sesgo de selección suele pesar menos, y un panel opt-in bien ponderado puede sostener el análisis.

Al conversar con una firma encuestadora o evaluar a sus proveedores, convendría centrar la exigencia en pocos puntos:

• ¿Qué variables usan para ponderar? y si esas variables predicen tanto la participación como la conducta que a usted le interesa.
• ¿Cómo reclutan el panel? y si mezclan varias fuentes (el blending eleva la duplicación de panelistas).
• ¿Contra qué benchmarks externos validan, si los hay?
• ¿Qué tan transparentes son frente a las 28 preguntas de ESOMAR para compradores de muestra online.

La palanca de mayor retorno, transversal a las tres familias, suele estar en medir las variables auxiliares correctas antes que en escalar al estimador más elegante. Y el cálculo se ajusta según el caso: una variable auxiliar enlazable y muy predictiva —datos transaccionales, por ejemplo— vuelve a MRP bastante más confiable; pasar de una medición puntual a seguir los cambios en el tiempo favorece la consistencia del método por encima de la exactitud absoluta.

La pregunta que decide el presupuesto

Toda estimación de segmento descansa en un supuesto: que la diferencia entre quienes respondieron y quienes no quedó capturada en el modelo. Antes de mover el presupuesto con la próxima cifra que le entregue su empresa de investigación de mercados, ¿cuánto de esa diferencia puede nombrar?