Una falla en el A/B Testing

Plataformas como Meta y Google siempre han vendido el A/B testing como la mejor solución para saber qué  anuncio es “adecuado” colocar frente a ciertos usuarios. No obstante, un nuevo estudio del Journal of Marketing, identificó una falla en el sistema.

Como se ha planteado en el pasado, el A/B Testing existe para comparar la eficacia de dos anuncios y de ahí determinar el “ideal” para una campaña.  No obstante, este nuevo estudio identificó que hay una falla significativa en esta lógica y se le conoce como  “entrega divergente”. Pero, ¿En qué consiste?

Para entender esta falla hay que comenzar por entender cómo funciona el A/B testing. Este consiste de que el algoritmo de segmentación de las plataformas digitales publicitarias tome dos opciones de anuncios y los muestre a dos grupos de usuarios distintos, para a partir de su respuesta determinar la eficacia de cada uno y sacar un “ganador”. No obstante, el problema nace del hecho de que se parte de una base de usuarios distinta, por lo que  el anuncio “ganador” puede tener mejor rendimiento simplemente por haber sido mostrado a un grupo más afín a su contenido o propenso a responder, frente al otro grupo de usuarios expuesto al otro anuncio. Es decir, no se mide verdaderamente la efectividad de los elementos creativos del anuncio sino que es un resultado arbitrario de la combinación de usuarios que lo vean.

Los investigadores creen que sus hallazgos tienen implicaciones importantes para las marcas, pues muchos publicistas y mercadólogos usan las pruebas A/B para fundamentar sus estrategias debido a su bajo costo y atractivo “científico”; sin embargo, “cuando las plataformas no indican explícitamente que estos experimentos no son verdaderamente aleatorios, los especialistas en marketing tienen una falsa sensación de seguridad sobre sus decisiones basadas en datos”.

Ante esto, los expertos recomiendan:

1. Si el objetivo es determinar cuál creatividad publicitaria tendrá el mejor rendimiento en un entorno específico (con las mismas condiciones, plataforma y configuraciones de campaña), sigan usando el A/B testing; pero, sabiendo que este no es 100% ideal para juzgar las características creativas de los anuncios y no se cuenta con una representatividad adecuada de los sujetos.
2. Si el objetivo de marketing es extrapolar comparaciones entre el contenido de los anuncios para su uso fuera de la plataforma (por ejemplo, desarrollo de una estrategia de marketing o publicidad offline donde la experimentación aleatoria y el seguimiento de los usuarios son más complicados), el consejo es no confiar en estas pruebas A/B para obtener evidencia causal sobre los efectos del contenido creativo en los anuncios.