Test A/B de email: cómo comparar dos mensajes de tu academia

Un test A/B de email consiste en mandar dos versiones del mismo correo a dos mitades de tus contactos, repartidas al azar, y comparar qué hace cada mitad: abrir, hacer clic, comprar. Como las dos mitades reciben su versión a la vez y se parecen entre sí, la diferencia la causa el correo y no el día de la semana ni la temporada.

Montarlo es lo fácil. Lo difícil, en una academia pequeña, es el tamaño: con 100 personas por versión, una diferencia de 10 % frente a 16 % de clics puede salir por puro azar. Abajo están las cuentas, qué merece la pena probar cuando tienes pocos contactos y cómo montarlo en Scholaxy, donde la división A/B es un bloque de los procesos (las campañas no la tienen).

Qué compara un test A/B de email

Cambias una sola cosa y dejas igual todo lo demás. Lo que puedes probar:

• El asunto. Decide si se abre el correo, no si se compra.
• El enfoque del texto: empezar por el problema del lector o por el programa del curso.
• La oferta: el precio, un bonus, una fecha límite.
• La llamada a la acción: un botón o un enlace en el texto, al principio o al final.
• El momento: el mismo correo el día 2 o el día 5 de la secuencia.

Y eliges de antemano qué vas a medir. Hay tres opciones, y no valen lo mismo:

Nosotros decidiríamos por clics y miraríamos las compras solo para comprobar que la versión ganadora no vende menos.

El ejemplo: una academia de marketing para restaurantes

Supón que tienes una academia online que vende «Marketing para restaurantes», un curso de 129 € para dueños y gerentes de restaurantes. La puerta de entrada es una guía gratis, «30 ideas de publicaciones para llenar mesas entre semana». Llegan unos 200 contactos nuevos al mes y tienes 1.200 en la base. El cuarto correo de la secuencia de bienvenida presenta el curso.

Hoy ese correo lo abre con el programa del curso. Quieres probar otra versión que empieza con un ejercicio de cinco minutos («publica hoy la foto del plato del día con el precio y la hora») y después presenta el curso. El asunto es el mismo en las dos.

Las cifras de partida, inventadas para hacer las cuentas: el 10 % hace clic en el correo de oferta y el 2 % compra en los 7 días siguientes.

Cuántos envíos necesitas antes de fiarte

Imagina el primer mes: 200 personas llegan al correo de oferta, unas 100 por versión. La versión A consigue 10 clics (10 %) y la B, 16 (16 %). B parece un 60 % mejor. ¿Lo es?

Con 100 envíos y un 10 % de clics, el margen de error es de unos ±5,9 puntos: con un 95 % de confianza, el 10 % de A está en realidad entre el 4,1 % y el 15,9 %. Una prueba estadística estándar para dos proporciones da, para 10 de 100 frente a 16 de 100, una probabilidad de 0,21: si las dos versiones fueran igual de buenas, una diferencia así saldría por azar alrededor de una vez de cada cinco. Con eso no cambias tu secuencia.

¿Cuántos hacen falta? La fórmula habitual para comparar dos porcentajes, con un 95 % de confianza y un 80 % de probabilidad de detectar la diferencia si existe, es:

n por versión = 7,84 × [p₁ × (1 − p₁) + p₂ × (1 − p₂)] ÷ (p₁ − p₂)²

donde p₁ y p₂ son los dos porcentajes como fracciones y 7,84 es (1,96 + 0,84)². Para la academia, con 200 contactos nuevos al mes:

La última fila es la respuesta honesta para una academia pequeña: un test A/B por compras no se puede hacer con la secuencia de bienvenida. Por clics sí, siempre que la diferencia que buscas sea grande.

Hay un atajo cuando el correo es una campaña puntual a toda la base. Con 1.200 contactos tienes 600 por versión de una vez, y eso basta para detectar un 10 % frente a un 15,4 % de clics (o un 2 % frente a un 5 % de compras). Si A saca 60 clics de 600 y B, 90 de 600, la probabilidad de que sea azar baja a 0,009: menos de una vez de cada cien.

Un detalle más: la división nunca es exacta. Con 200 personas repartidas al 50 %, lo normal es que una rama reciba entre 86 y 114. Por eso se comparan porcentajes de cada rama, nunca clics totales. Y si repartes 20/80 para arriesgar menos con la versión nueva, necesitas más personas en total para la misma seguridad.

Qué probar cuando tienes pocos contactos

Prueba diferencias grandes. Un emoji en el asunto o «Hola» frente a «Buenas» no moverán los clics de un 10 % a un 20 %, y una diferencia pequeña no la vas a poder medir. Un enfoque distinto (ejercicio frente a programa), una oferta distinta (precio frente a precio con una sesión de dudas incluida) o un momento distinto (día 2 frente a día 5) sí pueden.

Fija el tamaño y la fecha de cierre antes de empezar, y no mires el resultado para decidir antes. Si paras el test el día que B va por delante, acabas eligiendo versiones que tuvieron una buena semana.

Haz un test cada vez. Con 200 contactos al mes, el test de nuestro ejemplo por clics del 10 % al 20 % ocupa dos meses; en un semestre caben tres como mucho, y nosotros haríamos dos y dejaríamos margen.

Escribe la conclusión, también cuando no hay ganador. «Ejercicio frente a programa: sin diferencia clara con 196 por versión» es un resultado útil: te ahorra repetir la misma prueba dentro de un año.

Errores que invalidan el test

• Comparar «antes» y «después». Si cambias el correo en marzo y comparas con febrero, mides también el mes, la publicidad y las vacaciones. Eso no es un test A/B.
• Cambiar dos cosas. Si B tiene otro asunto y otro texto, no sabrás cuál de los dos funcionó.
• Decidir por aperturas. Sirven, como mucho, para comparar asuntos, y con la reserva de la tabla de arriba.
• Mandar A a la base vieja y B a los contactos nuevos. Son públicos distintos, y la diferencia será de público, no de correo.
• Contar mal el clic. Si en los 2 días de espera la persona recibe otro correo tuyo con enlaces, un clic en ese correo se suma a su versión. Deja ese hueco libre de otros envíos.
• Olvidar el coste. Si B gana en clics pero trae el doble de bajas, mira las dos cifras antes de quedarte con B.

Si aún no tienes una secuencia que probar, empieza por la secuencia de emails para vender un curso; para separar a quién mandas qué, la segmentación de clientes; y para ver en qué paso se pierde la gente antes de probar nada, el embudo de conversión.

Cómo hacer un test A/B de email en Scholaxy

En Scholaxy, la división A/B es un bloque de los procesos («Procesos», /automation/processes). Las campañas («Mensajes» → «Campañas») no tienen variantes A/B, así que también una campaña puntual se prueba con un proceso.

Paso 1. El bloque de división. Abre el proceso de tu secuencia, pestaña «Proceso», y justo antes del correo de oferta añade «+ Añadir un bloque» → «División A/B». En sus ajustes, «El porcentaje a la rama «A» (0-100)» viene en 50. El bloque tiene dos salidas, «a» y «b», y reparte con una regla fija: cada persona cae siempre en la misma rama de ese bloque, aunque reinicies el proceso.

Paso 2. Las dos ramas. De la salida «a»: «Operación» → «Agregar una etiqueta» ab1-A, después «Enviar un email» con la versión A, después «Esperar condición» con la regla «Actividad por correo» → «hizo clic en un correo en N días» con N = 2 y un tiempo límite de 2 días. La salida default (hubo clic) va a otra «Agregar una etiqueta», ab1-A-clic. La rama «b» es igual con B. Desde la etiqueta del clic y desde la salida timeout, la secuencia sigue como antes. La espera retiene a cada persona hasta que hace clic o pasan los 2 días, así que el siguiente correo de la secuencia no se cruza con la medición; vigila solo que otro proceso no le escriba en esos días.

«Actividad por correo» cuenta aperturas y clics de los correos que envían los procesos, y la espera la comprueba cada 5 minutos. «Enviar un email» se salta a quien se dio de baja: la persona sale por la salida «No se pudo» y no recibe nada.

Pon a cada bloque un nombre claro en el campo «Etiqueta» de sus ajustes («A · oferta», «A · clic»): es el nombre que verás en las estadísticas. Antes de activar, «🧪 Simular» reparte personas ficticias entre las dos ramas sin enviar nada, y «▶ Probar» con tu correo te deja leer tu versión de verdad. Tu dirección cae siempre en la misma rama: para leer la otra, prueba con una segunda dirección.

Paso 3. Los clics. En la pestaña «Estadísticas», «El embudo por pasos» cuenta cuántas personas pasaron por cada bloque, y la fila de la división lleva la marca A/B. Las personas de cada rama son las visitas de «Agregar una etiqueta» ab1-A y ab1-B; los clics, las de ab1-A-clic y ab1-B-clic. Divide cada una por su rama. Scholaxy no calcula la significación por ti: la cuenta de arriba la haces tú.

Paso 4. Las compras. Como el proceso puede tener una condición de parada que saca a los compradores, las compras no se cuentan en el embudo sino con segmentos. En «Estudiantes» → «Segmentos» → «Añadir segmento» → «Dinámico», crea uno con «Etiqueta» ab1-A y «Tiene un pedido» con «Estado del pedido» «Pagado» y la «Oferta» del curso, y otro igual con ab1-B. La ficha del segmento muestra «Miembros ahora mismo».

Para una campaña puntual a tu base, crea un proceso «Por usuarios del LMS» con el disparador «Una sola vez al pulsar «Ejecutar»» y la regla de entrada «Pertenece a un segmento» → tu segmento; después, «División A/B» y un «Enviar un email» por rama.

Cuando decidas, no hace falta rehacer el proceso: pon el porcentaje en 100 para que todos vayan a «a», o en 0 para que todos vayan a «b». Si lo que quieres probar es una landing y no un correo, las páginas tienen su propia herramienta: «Páginas» → «Más» → «⇄ Pruebas A/B».

Antes de lanzar el test