Cómo determinar la importancia estadística cuando se realizan pruebas A/B con Divi Leads

Pruebas A/B con Divi Leads: una introducción

Cualquier persona con experiencia previa en las herramientas de pruebas divididas de WordPress podrá apreciar la simplicidad de Divi Leads, que se debe en parte a su perfecta integración en Divi Builder . Con él, podrá ejecutar y verificar los resultados de sus pruebas sin tener que salir del panel de control de WordPress.

Comenzar una nueva prueba A/B es tan simple como hacer clic con el botón derecho en cualquier módulo que desee elegir como tema de su campaña y luego seleccionar la opción Prueba dividida :

Cuando lo haga, aparecerá una ventana que le explicará el proceso de selección de objetivos para su campaña. Divi Leads le permite elegir no solo módulos, sino también filas y secciones completas como objetivos individuales para sus pruebas. Una vez que se elige un objetivo, verá una ventana emergente duplicada en su Divi Builder que podrá diseñar a su gusto para los fines de la prueba.

Usando Divi Leads, podrá crear múltiples variaciones de la misma página desde una sola ventana de Builder. Sin embargo, dado que nuestros intereses hoy se encuentran en las pruebas A/B , nos limitaremos a una sola variación para mantener nuestros ejemplos (y las matemáticas que lo acompañan) más simples.

Una vez que haya creado una variación, podrá acceder a la ventana Estadísticas de prueba dividida ubicada en la parte superior derecha de Divi Builder. En él, encontrará información detallada sobre los clics, las lecturas, los rebotes y el compromiso de su objetivo, así como gráficos útiles para varios períodos de tiempo:

Incluso puede verificar cómo se desarrolla su prueba A/B sin tener que abrir la ventana Estadísticas de prueba dividida , ya que los módulos en cuestión mostrarán los últimos porcentajes de clics dentro de sus títulos durante la duración de la prueba:

Tan pronto como esté seguro de que ha recopilado suficientes datos para llegar a una conclusión informada, todo lo que tiene que hacer es hacer clic con el botón derecho en el módulo que participó en la prueba y luego hacer clic en Finalizar prueba dividida . Luego, se le pedirá que seleccione qué variación de tema conservar, un proceso que no se puede revertir, ¡así que asegúrese de que sus resultados sean concluyentes antes de hacerlo!

Entonces, ahora sabe cómo usar Divi Leads, pero ¿cómo se determina exactamente si se puede confiar en un conjunto dado de resultados? Asegurándose de que el papel del azar en sus pruebas se haya minimizado, por supuesto. Hablemos un poco más sobre este ‘factor de azar’.

Importancia estadística y el ‘factor de probabilidad’ cuando se realizan pruebas A/B

Considere el siguiente ejemplo: decide ejecutar una prueba A/B simple con dos variaciones de una llamada a la acción (CTA) en su página de destino. Pasan un par de días, recibe unos cientos de visitas (su sitio aún es bastante nuevo) y una de las variaciones está funcionando claramente mejor que la otra: una impresionante tasa de clics del 5 %, frente a un 3 % mostrado desde su competidor.

Puede pensar para sí mismo, Oye, esto ha estado funcionando durante un tiempo y creo que he recibido suficientes visitantes para llamarlo, ¡vamos con la opción número uno! – ¿y por qué no? Después de todo, los números te respaldan.

El problema aquí, sin embargo, sería que no consideró el ‘factor de azar’.

¿Qué sucede si realiza la misma prueba en otro momento y los resultados son significativamente diferentes? ¿O si decidiera mantener la prueba en ejecución durante un período más largo y los números comenzaran a oscilar en la dirección opuesta con un conjunto de muestras considerablemente mayor? El azar juega un papel en cada prueba A/B, y lo mejor que podemos hacer es minimizarlo a un nivel en el que nos sintamos cómodos.

Para hacer esto, necesita establecer un nivel de confianza en sus resultados. Es posible que haya leído esto si ha tenido la oportunidad de repasar los resultados de un estudio de múltiples participantes. Digamos que después de hacer los cálculos en la prueba de ejemplo, se dio cuenta de que los resultados no podían considerarse estadísticamente significativos y, de hecho, solo se mantendrían el 50 % de las veces. ¿Te sentirías cómodo con esa figura?

Si su respuesta fue un rotundo «No», ¡genial! Vamos a enseñarle cómo calcular tamaños de muestra ideales con altos niveles de significación estadística para maximizar sus posibilidades de ejecutar una prueba A/B exitosa.

Cómo determinar la importancia estadística cuando se realizan pruebas A/B con Divi Leads

Lo primero que debe hacer al tratar de determinar la significancia estadística para una prueba de este tipo es establecer exactamente con qué nivel de confianza se sentiría cómodo para sus resultados. Personalmente, hemos encontrado que el 95 % es un punto ideal cuando se trata de confiabilidad. Más específicamente, el 95 % representa un alfa (es decir, un grado de confianza) de 0,05 en la prueba de significancia estadística Chi-Cuadrado , que es el método que vamos a usar hoy (no se preocupe, le explicaremos qué eso significa más adelante).

Antes de continuar, vale la pena mencionar que si no quiere seguir por el camino, hay herramientas disponibles para calcular la significancia estadística, a las que hemos vinculado al final de esta sección.

Construyamos sobre un ejemplo similar al que usamos en la última sección. Realice una prueba A/B en la que ejecutamos dos versiones de una llamada a la acción durante unos días (no es necesario tener en cuenta la duración exacta para nuestros propósitos), y la versión A termina ligeramente por delante con un total más alto. de clics:

La fila Sí en esta tabla muestra la cantidad de personas que realmente hicieron clic en la CTA en cuestión, con el total general de visitantes para ambas versiones en la parte inferior. Ahora, aquí es donde las cosas se ponen un poco complicadas: usando los valores de la tabla anterior, a los que nos referiremos como «originales», vamos a calcular los valores «esperados» de ambas versiones de CTA.

Una vez que vea los resultados que obtenemos siguiendo la fórmula de resultados esperados que cubriremos a continuación, es posible que se sienta un poco confundido acerca de por qué nos referimos a ellos como «esperados». Esto es simplemente a lo que se refieren en lo que respecta a la prueba Chi-Cuadrado, así que piense en esto como un resultado potencial diferente para su prueba derivado de los valores que realmente observó durante su ejecución. Para determinar el nivel de significación estadística de nuestros resultados, tendremos que calcular cuatro valores esperados, dada la cantidad de variaciones que estamos tratando:

• el número de personas que hicieron clic en la versión A,
• el número de personas que hicieron clic en la versión B, y
• la cantidad de personas que no hicieron clic en la CTA cuando se les presentó cada opción.

El valor ‘esperado’ para la cantidad de personas que hicieron clic en la versión A sería el siguiente:

Llegamos a ese número a través de la siguiente fórmula…

…que es el número total de personas que hicieron clic en ambas CTA, multiplicado por el total de personas a las que se les mostró la versión A, dividido por el número total de visitantes a ambas versiones:

Ahora repitamos ese proceso para los campos restantes. La fórmula sigue siendo la misma: todo lo que tenemos que hacer es tomar el total correspondiente de Sí y No según la fila en la que estemos trabajando, multiplicarlo por el total correspondiente de dicha columna, dividido por el número total de visitantes a ambas versiones. , y el resultado debería verse así:

Si te sientes perdido, no te preocupes, todo tendrá sentido en un minuto. Ahora tenemos tanto el resultado original como el ‘esperado’, así que naturalmente vamos a aplicar una fórmula usando ambos para obtener otra tabla. ¡Este es el último, lo prometemos!

Esta vez, calcularemos el factor ‘Chi-Cuadrado’ de cada valor individual que hemos cubierto hasta ahora, lo que nos permitirá determinar si nuestros resultados podrían considerarse estadísticamente significativos. Para ello, utilizaremos la siguiente fórmula:

Entonces, para calcular el factor Chi-Cuadrado de las personas que hicieron clic en la Versión A de la CTA, la fórmula se vería así…

…lo que resultaría en lo siguiente:

Una vez que repitamos el proceso para todos los valores restantes, nos quedaría lo siguiente:

Al final, todo lo que necesitamos es un único Factor Chi-Cuadrado, la suma del total de espectadores de ambas versiones, que en nuestro caso sería 1,15. Ahora bien, ¿recuerda cómo al principio de esta sección dijimos que apuntábamos a un modesto grado de confianza del 95 % y cómo eso representaba un alfa de 0,05? Este alfa es un valor predeterminado en la tabla de distribución Chi-Squared , que asigna los valores requeridos para lograr un grado específico de confianza según la cantidad de variaciones que debe considerar. Todas las pruebas comienzan con un grado de confianza hipotético del 100 % para llegar al nivel esperado de significación estadística, debe restar el alfa de 1, por lo tanto…

…lo que nos da nuestro porcentaje deseado. Un alfa de 0,1 equivaldría a un grado de confianza del 90% y así sucesivamente. Cuanto menor sea el alfa, más confiables serán sus resultados, y nos decidimos por el 95 % como nuestro punto óptimo, ya que los alfas más pequeños requerirían muestras mucho más altas para arrojar valores estadísticamente significativos.

De acuerdo con la tabla , con una simple prueba A/B con factores Sí o No , tendríamos que alcanzar un Factor Chi-Cuadrado de 3.841, que nuestro ejemplo se quedó muy corto. De acuerdo con estos cálculos, para obtener un grado de certeza del 95% en los resultados de nuestro ejemplo, habría sido necesario extender la prueba hasta obtener como mínimo 6.830 visitantes en total, repartidos entre ambas variantes.

Nuestra prueba original con su tamaño de muestra de 2045 visitantes solo habría resistido el 85 % del tiempo. Ahora, eso puede parecer bastante alto, pero debe tener en cuenta el hecho de que usamos valores bastante pequeños en nuestros ejemplos. En un escenario de caso real, la brecha probablemente habría sido mucho mayor.

Si se ha quedado con nosotros hasta ahora, es posible que se sienta un poco abrumado debido a la gran cantidad de cálculos necesarios para determinar la importancia estadística. Afortunadamente, hay muchas herramientas en línea que pueden hacer el trabajo por ti, como la calculadora de pruebas A/B de HubSpot o la herramienta de decisión y calculadora de pruebas divididas de Dr. Pete .

Conclusión

Si bien la prueba dividida es una herramienta poderosa, a veces puede guiarlo en la dirección equivocada si sus pruebas no están calibradas correctamente. Sin embargo, armado con los nuevos informes estadísticos de Divi Leads y sabiendo cómo detectar cuándo no se puede confiar en un resultado, está completamente listo para comenzar las pruebas A/B con estilo.

Solo recuerda los siguientes factores clave de las pruebas A/B:

1. Asegúrese de que los tamaños de sus muestras sean lo suficientemente grandes. Cuantas más variantes elija introducir en una prueba, más tráfico necesitará.
2. ¡No apresures tus exámenes! Aunque su millaje puede variar aquí dependiendo de cuánto tráfico reciba su sitio.
3. Use la prueba Chi-Squared para determinar si sus resultados son estadísticamente significativos.

¿Alguna vez las pruebas A/B te han ayudado a aumentar significativamente tus tasas de conversión? Si es así, ¿qué tipo de cambios hiciste? ¡Comparte tu experiencia con nosotros y suscríbete a la sección de comentarios a continuación!

Imagen en miniatura del artículo por vladwel / shutterstock.com