Test A/B
Un experimento en el que las personas se reparten al azar entre dos o más versiones de un producto y se compara una métrica para ver qué versión funciona mejor.
Para qué sirve
Permite saber si un cambio mejora algo de verdad, y no solo si al equipo le parece mejor.
Elementos clave
Al azar
El reparto aleatorio hace que la única diferencia entre los grupos sea la versión.
La métrica, antes
Se decide qué se va a medir antes de empezar, no al ver los resultados.
Suficientes personas
Con pocos datos, las diferencias pueden deberse al azar.
Un ejemplo
Un ejemplo ilustrativo: una tienda en línea prueba un texto nuevo en su botón de compra (B) frente al de siempre (A).
Con pocos datos, la diferencia entre versiones sube y baja por casualidad; solo con la muestra decidida antes el resultado es fiable.
Cómo se hace
Se define el cambio, la métrica y cuántas personas hacen falta.
Se reparte a las personas al azar entre las versiones.
Se compara la métrica y se decide.
Aplicaciones en diseño
Cuándo usarlo
Para decidir entre dos versiones de una pantalla, un mensaje o un precio cuando tienes muchas visitas.
Evita
Parar el experimento en cuanto los números te gustan: el resultado puede ser casualidad.
Para no caer
Te dice qué funciona mejor, no por qué: combínalo con entrevistas o tests de usabilidad.
Conexiones
Lo usan
Relacionado con
Autores y obras
- 2020
Ron Kohavi, Diane Tang y Ya Xu
Reunieron en una guía práctica cómo diseñar y analizar experimentos controlados en productos digitales.
Fuentes
Fuentes originales
- Kohavi, R., Tang, D. y Xu, Y. (2020). Trustworthy online controlled experiments: A practical guide to A/B testing. Cambridge University Press.
Última revisión: