experiment-designer
por alirezarezvaniexperiment-designer ayuda a equipos de Product Management a diseñar A/B tests y experimentos de funcionalidades con hipótesis comprobables, métricas, planificación de tamaño de muestra, priorización ICE, reglas de detención e interpretación de resultados.
Esta skill obtiene 80/100, lo que la convierte en una candidata sólida para usuarios del directorio que buscan un agente capaz de estructurar experimentos de producto con más rigor que un prompt genérico. Tiene señales de activación claras, un flujo de trabajo accionable, referencias de apoyo y un script práctico, aunque su adopción sería más sencilla con instrucciones de instalación más claras y herramientas estadísticas más amplias.
- Alcance de activación claro para planificar experimentos de producto, redactar hipótesis, estimar tamaños de muestra, priorizar con ICE e interpretar resultados de A/B tests.
- El flujo operativo ofrece a los agentes pasos concretos: hipótesis If/Then/Because, jerarquía de métricas, estimación de tamaño de muestra, puntuación ICE, reglas de detención e interpretación.
- Buena divulgación progresiva mediante referencias para guías de experimentación y conceptos estadísticos, además de un script ejecutable para calcular tamaños de muestra.
- No hay comando de instalación ni README en la carpeta de la skill, por lo que los usuarios deben deducir la instalación a partir de las convenciones generales del repositorio.
- La calculadora incluida cubre pruebas de conversión de dos proporciones; no implementa pruebas basadas en medias, métodos secuenciales ni planificación de potencia multivariante.
Descripción general de la skill experiment-designer
Qué hace experiment-designer
experiment-designer es una skill de Product Management para convertir ideas de producto en experimentos comprobables, con hipótesis más claras, métricas definidas de antemano, planificación de tamaño de muestra, priorización ICE, reglas de lanzamiento e interpretación de resultados. Es especialmente útil cuando un equipo necesita más rigor que “hagamos un A/B test”, pero no quiere crear desde cero todo un manual de experimentación.
Usuarios y decisiones para los que encaja mejor
La skill experiment-designer encaja con PMs, responsables de crecimiento, UX researchers, analistas y equipos de startups que estén planificando A/B tests, pruebas multivariantes, holdouts o experimentos de funcionalidades. Ayuda a responder preguntas prácticas como: ¿cuál es la métrica de decisión? ¿Qué MDE vale la pena detectar? ¿Cuánto tráfico hace falta? ¿Qué experimento debería ejecutarse primero? ¿Qué haría que el resultado fuera lo bastante fiable como para lanzar, revertir o repetir?
Qué la diferencia de un prompt genérico
El repositorio incluye un flujo de trabajo estructurado en SKILL.md, una guía de experimentación de producto en references/experiment-playbook.md, una referencia estadística pensada para PMs en references/statistics-reference.md y un script auxiliar en Python para estimar tamaños de muestra en pruebas de dos proporciones. Esa combinación hace que experiment-designer sea más operativa que un prompt genérico de ideación: orienta al agente hacia la calidad de las hipótesis, las métricas de control, las reglas fijas de parada y la significancia práctica.
Límites importantes antes de instalar
Esta skill no es una plataforma completa de experimentación, una librería de inferencia causal ni un SDK de analítica. El script incluido scripts/sample_size_calculator.py está pensado para A/B tests de dos proporciones, por lo que las métricas continuas, las métricas de ratio, las pruebas secuenciales, la asignación por clústeres y los experimentos complejos de marketplace requerirán revisión estadística adicional. Úsala para mejorar la calidad del diseño experimental, no para reemplazar la validación de un analista en decisiones de alto impacto.
Cómo usar la skill experiment-designer
Instalación de experiment-designer y primeros archivos que conviene leer
Instala la skill desde el repositorio de GitHub con:
npx skills add alirezarezvani/claude-skills --skill experiment-designer
Después de instalarla, lee los archivos en este orden:
SKILL.mdpara entender el flujo de trabajo principal y el contexto en el que se activa.references/experiment-playbook.mdpara tipos de experimentos, diseño de métricas, reglas de parada y comprobaciones previas al lanzamiento.references/statistics-reference.mdpara p-values, intervalos de confianza, MDE, potencia y significancia práctica.scripts/sample_size_calculator.pysi necesitas estimar tráfico o duración para tests de tasa de conversión.
La ruta de la skill es product-team/skills/experiment-designer.
Inputs que la skill necesita para generar buen output
Para usar experiment-designer de forma útil, aporta más que una idea de funcionalidad. Incluye el área de producto, el segmento de usuarios, la intervención propuesta, la métrica base actual, el cambio objetivo en la métrica, el volumen de tráfico, las restricciones de lanzamiento y el riesgo de negocio. La skill funciona mejor cuando puede distinguir la métrica principal de decisión de las métricas de control y de diagnóstico.
Prompt débil:
Design an experiment for our onboarding flow.
Prompt más sólido:
Use experiment-designer for Product Management. We want to test replacing a 5-step onboarding checklist with a guided setup wizard for new B2B workspace admins. Current activation is 12% within 7 days. We care about activation as the primary metric, but must guardrail support tickets, setup completion time, and day-14 retention. Daily eligible users are about 1,200. We would ship only if uplift is at least 2 absolute percentage points and guardrails do not worsen materially.
Flujo de trabajo práctico para planificar un experimento
Empieza pidiendo a la skill que formule una hipótesis If/Then/Because, no un plan de prueba completo de inmediato. Después, pídele que defina una métrica principal, métricas de control, métricas de diagnóstico y reglas de exclusión. A continuación, ejecuta o solicita una planificación del tamaño de muestra usando la tasa base, el MDE, alpha, la potencia y las muestras diarias.
Para un experimento de conversión, el script incluido puede usarse así:
python3 scripts/sample_size_calculator.py --baseline-rate 0.12 --mde 0.02 --mde-type absolute --daily-samples 1200
Luego usa el resultado para decidir si el experimento es viable, si tiene potencia insuficiente o si debe reformularse con un efecto esperado mayor, una población más amplia o un método de aprendizaje de menor coste.
Patrón de prompt que invoca bien la skill
Usa un prompt con esta estructura:
Apply the experiment-designer skill. Create an experiment brief for
[intervention]targeting[segment]. Baseline[primary metric]is[value]; the smallest useful effect is[MDE]; daily eligible traffic is[volume]. Include hypothesis, primary/guardrail/diagnostic metrics, sample-size assumptions, ICE prioritization, stopping rules, launch checklist, and result interpretation guidance for ship/no-ship decisions.
Esta estructura le da al agente la información necesaria para evitar métricas vagas, duraciones poco realistas y reglas de decisión definidas después de ver los resultados.
FAQ de la skill experiment-designer
¿experiment-designer sirve solo para A/B testing?
No. La skill experiment-designer cubre A/B tests, pruebas multivariantes, holdout tests, redacción de hipótesis, selección de métricas, priorización e interpretación. Sin embargo, su calculadora integrada está diseñada específicamente para experimentos de conversión de dos proporciones, así que otros diseños pueden necesitar métodos aparte.
¿Pueden usar experiment-designer personas principiantes en Product Management?
Sí, sobre todo PMs que necesitan una guía práctica para planificar experimentos sin una formación estadística profunda. La referencia estadística explica conceptos como p-value, intervalo de confianza, MDE, potencia, errores de Tipo I/II y significancia práctica con lenguaje de producto. Aun así, las personas principiantes deberían revisar los planes con un analista cuando las decisiones sean costosas o irreversibles.
¿Cuándo no debería usar esta skill?
No dependas solo de ella para pruebas secuenciales, efectos de red, interferencia en marketplaces, estudios de retención a largo plazo, afirmaciones causales no aleatorizadas o experimentos con consecuencias legales, médicas, financieras o de seguridad. Puede ayudar a estructurar la decisión, pero no garantiza una inferencia válida cuando los supuestos son complejos.
¿En qué es mejor que simplemente pedir un plan de experimento?
Un prompt normal puede producir un plan bien redactado y aun así omitir el MDE, las reglas de parada, las métricas de control o la viabilidad. experiment-designer está diseñada con una postura clara frente a los fallos que suelen perjudicar los experimentos de producto: cambiar métricas a mitad del proceso, mirar los resultados demasiadas veces, subestimar el tamaño de muestra, sobrevalorar la significancia estadística e ignorar el coste de implementación.
Cómo mejorar la skill experiment-designer
Mejora los inputs de experiment-designer antes de pedir un plan
La forma más rápida de mejorar el output de experiment-designer es aportar restricciones reales. Añade conversión base, MDE deseado, tráfico por segmento, duración esperada, límites de rollout, estado de instrumentación y qué decisión debe respaldar el resultado. Si no conoces esos datos, pide a la skill que enumere supuestos e inputs faltantes antes de redactar el brief del experimento.
Vigila los fallos más comunes
Revisa el primer output en busca de estos problemas: varias métricas “principales”, métricas de control vagas, ausencia de duración mínima, falta de notas sobre aleatorización, tamaño de muestra poco realista, criterios de éxito basados solo en p-value o métricas de diagnóstico tratadas como puertas de lanzamiento/no lanzamiento. Pide a la skill que lo revise contra la checklist de references/experiment-playbook.md.
Itera desde el brief hasta el memo de decisión
Un buen flujo de trabajo es: idea inicial → brief del experimento → comprobación de tamaño de muestra → decisión de viabilidad → checklist de lanzamiento → memo de interpretación. Cuando lleguen los resultados, aporta el tamaño del efecto observado, el intervalo de confianza, el p-value si está disponible, los resultados de las métricas de control, el tamaño de muestra alcanzado y cualquier problema de calidad de datos. Después, pide a experiment-designer que separe significancia estadística, significancia práctica y acción de producto recomendada.
Extiende la skill para tu equipo
Los equipos pueden mejorar la skill añadiendo definiciones de métricas propias de la empresa, métricas de control estándar, convenciones de la plataforma de experimentación, valores aprobados por defecto para alpha/power, reglas de segmentación y ejemplos de buenas decisiones pasadas. Si tu organización ejecuta muchos experimentos con métricas continuas o usa métodos secuenciales, añade referencias separadas en lugar de sobrecargar la calculadora existente de dos proporciones.