ab-test-setup

Descripción general

¿Qué es ab-test-setup?

ab-test-setup es una habilidad para diseñar experimentos A/B y multivariantes rigurosos antes de lanzar nada a producción. Guía a un asistente de IA para actuar como especialista en experimentación: clarificar objetivos de test, formular hipótesis sólidas, elegir métricas adecuadas y planificar tamaño de muestra y duración usando referencias estructuradas.

En lugar de lanzarte directamente a ejecutar un test A/B, ab-test-setup te ayuda a crear un plan de test sólido, de forma que los resultados sean estadísticamente válidos y accionables, no solo ruido.

¿Para quién es esta habilidad?

Utiliza ab-test-setup si eres:

• Equipos de growth o marketing de producto que planifican experimentos en landing pages, flujos de onboarding o páginas de precios.
• Marketers de performance que optimizan anuncios, creatividades de campaña o funnels y necesitan tests estadísticamente robustos.
• Equipos de SEO y contenidos que testean titulares, maquetaciones o llamadas a la acción en páginas de alto valor.
• Desarrolladores y product managers que dan soporte a la experimentación y quieren un marco de planificación coherente y documentado.

Si solo necesitas ideas de copy o cambios de diseño sin testearlos, esta habilidad es demasiado para ese caso; usa mejor tu habilidad de contenidos o de CRO.

¿Qué problemas resuelve ab-test-setup?

Esta habilidad está pensada para situaciones en las que un usuario dice cosas como:

• "Queremos hacer un A/B test del titular de nuestra homepage".
• "¿Deberíamos hacer un test multivariante con estos elementos?".
• "¿Qué versión es mejor y cómo deberíamos testearla?".
• "¿Cuánto tiempo deberíamos ejecutar este experimento?".
• "¿Tenemos suficiente tráfico para este test?".

ab-test-setup se centra en:

• Aclarar el contexto: qué intentas mejorar, rendimiento de base y limitaciones.
• Construir una hipótesis sólida usando un marco estructurado.
• Elegir el tipo de test (A/B vs. A/B/n vs. multivariante) en función del tráfico y los objetivos.
• Planificar tamaño de muestra y duración, usando la guía de tamaños de muestra incluida.
• Definir métricas (primarias, secundarias y de seguridad) alineadas con tus objetivos de negocio.
• Evitar errores habituales como testear demasiadas variantes con poco tráfico o tomar decisiones demasiado pronto ("peeking").

Para la implementación de tracking, utiliza la habilidad analytics-tracking. Para ideas de optimización de conversión a nivel de página, usa page-cro junto con ab-test-setup.

¿Cuándo encaja bien ab-test-setup?

Esta habilidad es adecuada cuando:

• Estás comparando dos o más enfoques y necesitas medir cuál funciona mejor.
• Tienes o esperas suficiente tráfico para ejecutar un A/B test significativo.
• Te importa la significancia estadística y evitar falsos positivos.
• Varios stakeholders necesitan un plan de test claro y documentado.

No es una buena opción cuando:

• Tienes tráfico extremadamente bajo y un A/B test significativo no es realista.
• Estás haciendo cambios puntuales de diseño sin medición.
• Solo necesitas configurar analytics o el tracking de eventos (usa analytics-tracking en su lugar).

Cómo usarla

Instalación

Instala ab-test-setup en tu entorno de agente usando la CLI de skills:

npx skills add https://github.com/coreyhaines31/marketingskills --skill ab-test-setup

Después de la instalación:

1. Abre el directorio skills/ab-test-setup en tu editor o visor de archivos.
2. Empieza por SKILL.md para entender cómo debe abordar el asistente la planificación de tests A/B.
3. Revisa las carpetas references/ y evals/ para ver el material de apoyo y el comportamiento esperado.

Archivos y carpetas clave

Para obtener valor rápidamente, céntrate en estos archivos:

• SKILL.md – Instrucciones principales. Define la mentalidad de experimentación, las preguntas iniciales de evaluación y principios clave como empezar por una hipótesis y testear una cosa cada vez.
• references/sample-size-guide.md – Guías para calcular o estimar tamaños de muestra, entender el minimum detectable effect (MDE) y planificar la duración del test.
• references/test-templates.md – Plantillas listas para usar de planes de test, documentación de resultados y actualizaciones a stakeholders.
• evals/evals.json – Prompts de ejemplo y outputs esperados que muestran cómo debe comportarse la habilidad en escenarios reales.

Úsalos como referencia al configurar tu agente o para alinear tu documentación interna de experimentación con la misma estructura.

Flujo de trabajo típico con ab-test-setup

La habilidad está diseñada alrededor de un flujo de experimentación repetible.

1. Recopilar contexto

Cuando un usuario pide un A/B test, el agente primero debería entender:

• Contexto del test – ¿Qué página, funcionalidad o canal se está testeando? ¿Qué cambio se está considerando?
• Situación actual – Tasa de conversión de referencia u otra métrica clave y volumen de tráfico actual.
• Limitaciones – Restricciones técnicas, complejidad de implementación, plazos y herramientas (por ejemplo, Optimizely, alternativas a Google Optimize, framework interno).

Si tienes un archivo compartido de contexto de marketing de producto (por ejemplo, product-marketing-context.md descrito en el repo), el agente debería leerlo primero y solo pedir la información que falte o que sea específica del test.

2. Definir una hipótesis sólida

ab-test-setup promueve un formato de hipótesis estructurado, tal y como se ve en evals/evals.json y references/test-templates.md:

Because [observation], we believe [change] will cause [outcome], which we'll measure by [metric].

En la práctica, el agente debería:

• Convertir ideas vagas ("probar un titular orientado a beneficios") en predicciones específicas.
• Vincular cada hipótesis a datos u observaciones claras (analytics, investigación, feedback de usuarios).
• Relacionar el resultado directamente con una métrica de negocio primaria (por ejemplo, tasa de registro, tasa de add-to-cart).

3. Elegir el diseño de test adecuado

Usando los principios de SKILL.md y los ejemplos de evals/evals.json, el agente ayuda a decidir:

• A/B vs. A/B/n vs. multivariante – Por ejemplo, desaconsejando testear cuatro colores de botón con tráfico muy bajo si eso dejaría el test sin potencia estadística.
• Foco en una sola variable – Fomentando testear un cambio principal cada vez para que los resultados sean interpretables.
• Asignación de tráfico – Normalmente 50/50 para un A/B simple, aunque las plantillas soportan configuraciones más complejas.

Esto es especialmente útil para equipos de marketing y SEO que pueden sentirse tentados a testear demasiados elementos a la vez.

4. Planificar tamaño de muestra y duración

El archivo references/sample-size-guide.md proporciona al agente un marco para:

• Explicar tasa de conversión de base, MDE, significancia y potencia estadística.
• Utilizar tablas de referencia rápida o fórmulas para estimar el tamaño de muestra por variante.
• Traducir eso a una duración aproximada del test en función del tráfico.
• Destacar errores comunes, como tests con poca potencia estadística e ignorar los ajustes por múltiples variantes.

Por ejemplo, en un prompt de evaluación, se espera que el agente estime el tamaño de muestra necesario para 15,000 visitantes/mes y una base del 3.2 %, y luego recomiende una duración de test realista.

5. Definir métricas y guardrails

Siguiendo los patrones de test-templates.md, el agente debería ayudarte a:

• Elegir una métrica primaria que represente el resultado principal (por ejemplo, tasa de registro).
• Añadir métricas secundarias para un entendimiento más profundo (por ejemplo, click-through rate, micro-conversiones).
• Definir métricas de guardrail para evitar impactos negativos (por ejemplo, tasa de rebote, tasa de errores, revenue per visitor).

Esto es especialmente valioso en experimentos de optimización de anuncios y contenidos SEO, donde mejoras locales pueden perjudicar el rendimiento global si se ignoran las métricas de seguridad.

6. Generar un plan de test estructurado

Con la información recopilada, el agente puede generar un plan usando las plantillas de references/test-templates.md, que incluya:

• Resumen y datos del responsable.
• Hipótesis y justificación.
• Diseño del test y notas de implementación.
• Descripción de variantes (control y challenger(s)).
• Definición de métricas y plan de segmentación.

Puedes pegar este plan en tu herramienta de experimentación, documentación interna o ticket de JIRA para mantener los tests consistentes y revisables.

Cómo funciona ab-test-setup con otras habilidades

• Con analytics-tracking: ab-test-setup define qué y por qué testear; analytics-tracking define cómo capturar eventos, objetivos o conversiones.
• Con page-cro: page-cro ayuda a generar ideas sobre qué cambiar; ab-test-setup decide qué ideas testear primero y cómo.

Úsalas juntas para un flujo de experimentación completo: ideación → priorización → diseño del test → implementación → análisis.

Preguntas frecuentes

¿Cuándo debería usar ab-test-setup en lugar de simplemente cambiar la página?

Usa ab-test-setup cuando:

• El cambio puede tener un impacto de negocio significativo (por ejemplo, pasos clave del funnel, páginas de alto tráfico).
• Los stakeholders van a preguntar "¿Realmente ha funcionado?" y necesitas evidencias creíbles.
• Estás optimizando de forma continua tus esfuerzos de marketing o SEO y quieres un proceso repetible.

Para retoques triviales o cosméticos donde no piensas medir el impacto, no hace falta un plan completo de A/B test.

¿ab-test-setup calcula tamaños de muestra exactos?

La habilidad no incluye una librería dedicada de cálculo. En su lugar, utiliza la lógica y los ejemplos de references/sample-size-guide.md para:

• Explicar qué datos de entrada necesitas.
• Estimar tamaños de muestra razonables o guiarte hacia calculadoras online.
• Avisarte cuando tu tráfico probablemente sea demasiado bajo para tests fiables.

Para contextos críticos o altamente regulados, deberías validar igualmente los cálculos con tu equipo de analytics o data science.

¿Puedo usar ab-test-setup para más de dos variantes?

Sí. Aunque la idea central es el A/B testing, la documentación y las plantillas soportan experimentos A/B/n y multivariantes. La habilidad también enfatiza que añadir más variantes requiere tamaños de muestra mayores y duraciones más largas, algo cubierto en la guía de tamaños de muestra.

¿Cómo gestiona ab-test-setup el “peeking” y la parada temprana?

Los prompts de evaluación exigen explícitamente que el agente:

• Avise sobre el problema del peeking (consultar resultados con demasiada frecuencia y detener el test antes de tiempo).
• Recomiende una duración fija de test o un umbral de muestra antes de declarar un ganador.

Esto ayuda a mantener la validez estadística, especialmente en decisiones importantes de marketing y producto.

¿ab-test-setup es solo para páginas web?

No. Los principios se aplican a:

• Experimentos en websites y landing pages.
• Tests de producto dentro de la app.
• Tests de email y journeys de lifecycle.
• Experimentos de creatividades y mensajes de anuncios.

En cualquier entorno donde puedas asignar usuarios aleatoriamente a variantes y medir resultados, ab-test-setup puede ayudarte a diseñar el experimento.

¿Cómo sé si tengo suficiente tráfico para un A/B test?

Usa las recomendaciones de references/sample-size-guide.md:

• Empieza con tu tasa de conversión de base y tus visitantes mensuales.
• Define un minimum detectable effect: qué cambio mínimo merece la pena detectar.
• Utiliza las tablas o fórmulas para estimar el tamaño de muestra por variante.
• Compáralo con tu tráfico para ver si el test duraría un tiempo razonable.

Si la duración requerida es extremadamente larga, el agente puede recomendar:

• Combinar páginas o campañas similares para aumentar el tamaño de muestra.
• Testear cambios más grandes y con mayor impacto (MDE mayor).
• Usar otros métodos de investigación (feedback cualitativo, user testing) en lugar de A/B testing.

¿Y si solo quiero ideas de copy o propuestas de diseño?

ab-test-setup parte de la premisa de que quieres medir qué versión gana. Si solo quieres ideas de copy o de diseño sin ejecutar un test:

• Usa tu habilidad centrada en contenidos o CRO (como page-cro) para generar ideas.
• Opcionalmente, vuelve a ab-test-setup más adelante si decides validar esas ideas mediante tests.

¿Dónde puedo ver ejemplos de buenos resultados de esta habilidad?

Consulta evals/evals.json en la carpeta ab-test-setup. Incluye prompts realistas (por ejemplo, testear titulares de homepage o colores de botones) y expectativas detalladas sobre cómo debería responder el agente, incluyendo:

• Estructura de la hipótesis.
• Razonamiento sobre tamaño de muestra y duración.
• Selección de métricas.
• Advertencias sobre errores comunes.

Puedes usar estos ejemplos como referencia al integrar o personalizar la habilidad en tu propio entorno.