Los experimentos son una parte crucial de la innovación. Eso es cierto en todos los sectores, pero especialmente en el mundo de los medios de comunicación y del marketing. Sin embargo quizás estemos otorgando demasiada importancia a test internos que no consiguen resultados sólidos ni extrapolables.

Aproximadamente dos tercios de los profesionales del marketing utilizan tests A/B para mejorar los ratios de conversión, según una investigación hecha en 2016 por Econsultancy y Red Eye.

Los anunciantes confían en este tipo de tests para optimizar las Landing page de sus anuncios. Y los medios de comunicación los utilizan para personalizar su contenido, así como encontrar los titulares e imágenes que dirigirán un mayor tráfico a la página.

Aunque los test A/B son un recurso común entre anunciantes y medios, la mayoría de estos tests no obtienen resultados estadísticamente significativos. Eso es lo que se deduce de una encuesta de UserTesting a 3,900 profesionales a nivel mundial. Y es que menos del 20% de los encuestados responde que sus tests A/B ofrecen resultados significativos el 80% de las veces. Tan sólo un 1,9% respondió que sus tests A/B ofrecen resultados significativos siempre, el mismo porcentaje que respondió lo contrario: nunca lo hacen.

Un análisis similar de Appsumo explica que solo uno de cada ocho tests A/B tienen como consecuencia un cambio significativo. Sin embargo sería una irresponsabilidad acabar con ese tipo de pruebas según John Donahue, Chief Product Officer de la plataforma Sonobi. “Los beneficios de los test A/B son innegables. Cuando desarrollas cualquier proyecto creativo hay multitud de suposiciones, y los test A/B te permiten acabar con estas”.

Según Donahue, utilizar este tipo de tests para titulares y call-to-action pueden suponer un ahorro hasta del 40% en los presupuestos de plataformas como Facebook.

Sería poco realista esperar que cada test A/B ofrezca resultados significativos. Al igual que los científicos aprenden de cada experimento fallido, los profesionales del marketing puede aprender de los test A/B que tampoco ofrecen resultados concluyentes.