Saltar al contenido
APDD
Ver mi biblioteca

Método

Test A/B

Un experimento en el que las personas se reparten al azar entre dos o más versiones de un producto y se compara una métrica para ver qué versión funciona mejor.

En inglés
A/B testing
Origen
Viene de los experimentos controlados; guía de referencia en productos digitales: Kohavi, Tang y Xu (2020)
Resultado
Cuál de las versiones funciona mejor según una métrica decidida antes, con su margen de error

Para qué sirve

Permite saber si un cambio mejora algo de verdad, y no solo si al equipo le parece mejor.

Elementos clave

  • Al azar

    El reparto aleatorio hace que la única diferencia entre los grupos sea la versión.

  • La métrica, antes

    Se decide qué se va a medir antes de empezar, no al ver los resultados.

  • Suficientes personas

    Con pocos datos, las diferencias pueden deberse al azar.

Un ejemplo

Un ejemplo ilustrativo: una tienda en línea prueba un texto nuevo en su botón de compra (B) frente al de siempre (A).

Parar en cuanto gustaB mejorIgualA mejorDía 1Día 14Se para aquí«¡B gana!»
Al segundo día, con pocas personas, la versión B va muy por delante y el equipo da la prueba por terminada. El azar, tomado por una mejora.
Esperar a lo planeadoB mejorIgualA mejorDía 1Día 14SindiferenciaMuestra prevista
Si sigue hasta reunir a las personas previstas, la ventaja se desvanece y las dos versiones funcionan igual. Una decisión con datos suficientes.

Con pocos datos, la diferencia entre versiones sube y baja por casualidad; solo con la muestra decidida antes el resultado es fiable.

Cómo se hace

  1. Se define el cambio, la métrica y cuántas personas hacen falta.

  2. Se reparte a las personas al azar entre las versiones.

  3. Se compara la métrica y se decide.

Aplicaciones en diseño

  • Cuándo usarlo

    Para decidir entre dos versiones de una pantalla, un mensaje o un precio cuando tienes muchas visitas.

  • Evita

    Parar el experimento en cuanto los números te gustan: el resultado puede ser casualidad.

  • Para no caer

    Te dice qué funciona mejor, no por qué: combínalo con entrevistas o tests de usabilidad.

Autores y obras

  1. 2020

    Ron Kohavi, Diane Tang y Ya Xu

    Reunieron en una guía práctica cómo diseñar y analizar experimentos controlados en productos digitales.

Fuentes

Fuentes originales

  • Kohavi, R., Tang, D. y Xu, Y. (2020). Trustworthy online controlled experiments: A practical guide to A/B testing. Cambridge University Press.

Última revisión: