experiment-designer

Visão geral da skill experiment-designer

O que a experiment-designer faz

experiment-designer é uma skill de Product Management para transformar ideias de produto em experimentos testáveis, com hipóteses mais claras, métricas definidas antes do início, planejamento de tamanho de amostra, priorização ICE, regras de lançamento e interpretação de resultados. Ela é mais útil quando o time precisa de mais rigor do que um simples “vamos fazer um A/B test”, mas não quer criar do zero um playbook completo de experimentação.

Usuários e decisões para os quais ela é mais indicada

A skill experiment-designer é indicada para PMs, líderes de growth, pesquisadores de UX, analistas e times de startup que estejam planejando A/B tests, testes multivariados, holdouts ou experimentos de feature. Ela ajuda a responder perguntas práticas como: qual é a métrica de decisão? Qual MDE vale a pena detectar? Quanto tráfego é necessário? Qual experimento deve rodar primeiro? O que tornaria o resultado confiável o suficiente para lançar, reverter ou repetir o teste?

O que a diferencia de um prompt genérico

O repositório inclui um fluxo de trabalho estruturado em SKILL.md, um playbook de experimentação de produto em references/experiment-playbook.md, uma referência de estatística acessível para PMs em references/statistics-reference.md e um script auxiliar em Python para estimativas de tamanho de amostra em testes de duas proporções. Essa combinação torna a experiment-designer mais operacional do que um prompt genérico de brainstorming: ela orienta o agente a melhorar a qualidade da hipótese, definir métricas de guardrail, usar regras fixas de parada e considerar significância prática.

Limites importantes antes da instalação

Esta não é uma plataforma completa de experimentação, uma biblioteca de inferência causal nem um analytics SDK. O scripts/sample_size_calculator.py incluído é voltado para A/B tests de duas proporções, então métricas contínuas, métricas de razão, testes sequenciais, atribuição por clusters e experimentos complexos de marketplace exigirão revisão estatística adicional. Use a skill para melhorar a qualidade do desenho experimental, não para substituir a validação de um analista em decisões de alto impacto.

Como usar a skill experiment-designer

Instalação da experiment-designer e primeiros arquivos para ler

Instale a skill a partir do repositório do GitHub com:

npx skills add alirezarezvani/claude-skills --skill experiment-designer

Depois da instalação, leia os arquivos nesta ordem:

1. SKILL.md para entender o fluxo principal e o contexto em que a skill deve ser acionada.
2. references/experiment-playbook.md para tipos de experimento, desenho de métricas, regras de parada e checagens pré-lançamento.
3. references/statistics-reference.md para p-values, intervalos de confiança, MDE, poder estatístico e significância prática.
4. scripts/sample_size_calculator.py se você precisar de estimativas de tráfego ou duração para testes de taxa de conversão.

O caminho da skill é product-team/skills/experiment-designer.

Informações que a skill precisa para gerar uma boa resposta

Para usar bem a experiment-designer, forneça mais do que uma ideia de feature. Inclua a área do produto, o segmento de usuários, a intervenção proposta, a métrica baseline atual, a mudança desejada na métrica, o volume de tráfego, as restrições de lançamento e o risco de negócio. A skill funciona melhor quando consegue diferenciar a métrica primária de decisão das métricas de guardrail e diagnóstico.

Prompt fraco:

Design an experiment for our onboarding flow.

Prompt mais forte:

Use experiment-designer for Product Management. We want to test replacing a 5-step onboarding checklist with a guided setup wizard for new B2B workspace admins. Current activation is 12% within 7 days. We care about activation as the primary metric, but must guardrail support tickets, setup completion time, and day-14 retention. Daily eligible users are about 1,200. We would ship only if uplift is at least 2 absolute percentage points and guardrails do not worsen materially.

Fluxo prático para planejar um experimento

Comece pedindo que a skill produza uma hipótese no formato If/Then/Because, em vez de solicitar imediatamente um plano de teste. Depois, peça para ela definir uma métrica primária, métricas de guardrail, métricas de diagnóstico e regras de exclusão. Em seguida, execute ou solicite o planejamento de tamanho de amostra usando taxa baseline, MDE, alpha, poder estatístico e amostras diárias.

Para um experimento de conversão, o script incluído pode ser usado assim:

python3 scripts/sample_size_calculator.py --baseline-rate 0.12 --mde 0.02 --mde-type absolute --daily-samples 1200

Depois, use o resultado para decidir se o experimento é viável, se está subdimensionado demais ou se deve ser reformulado com um efeito esperado maior, uma população mais ampla ou um método de aprendizado de menor custo.

Padrão de prompt que aciona bem a skill

Use um prompt com esta estrutura:

Apply the experiment-designer skill. Create an experiment brief for [intervention] targeting [segment]. Baseline [primary metric] is [value]; the smallest useful effect is [MDE]; daily eligible traffic is [volume]. Include hypothesis, primary/guardrail/diagnostic metrics, sample-size assumptions, ICE prioritization, stopping rules, launch checklist, and result interpretation guidance for ship/no-ship decisions.

Essa estrutura dá ao agente as informações necessárias para evitar métricas vagas, durações irreais e regras de decisão definidas depois do resultado.

FAQ da skill experiment-designer

A experiment-designer serve apenas para A/B testing?

Não. A skill experiment-designer cobre A/B tests, testes multivariados, holdout tests, escrita de hipóteses, seleção de métricas, priorização e interpretação. No entanto, a calculadora integrada é específica para experimentos de conversão com duas proporções, então outros desenhos podem exigir métodos separados.

Iniciantes podem usar a experiment-designer para Product Management?

Sim, especialmente PMs que precisam de um guia prático para planejar experimentos sem formação estatística aprofundada. A referência de estatística explica conceitos como p-value, intervalo de confiança, MDE, poder estatístico, erros Tipo I/II e significância prática em linguagem de produto. Ainda assim, iniciantes devem revisar os planos com um analista quando as decisões forem caras ou difíceis de reverter.

Quando eu não devo usar esta skill?

Não dependa apenas dela para testes sequenciais, efeitos de rede, interferência em marketplaces, estudos de retenção de longo prazo, afirmações causais sem randomização ou experimentos com consequências legais, médicas, financeiras ou de segurança. Ela pode ajudar a estruturar a decisão, mas não garante inferência válida quando as premissas são complexas.

Por que isso é melhor do que simplesmente pedir um plano de experimento?

Um prompt comum pode gerar um plano bem escrito, mas deixar de fora MDE, regras de parada, guardrails ou viabilidade. A experiment-designer é opinativa em relação aos modos de falha que mais prejudicam experimentos de produto: mudar métricas no meio do caminho, olhar resultados cedo demais com frequência, subestimar o tamanho de amostra, valorizar excessivamente a significância estatística e ignorar o custo de implementação.

Como melhorar a skill experiment-designer

Melhore os inputs da experiment-designer antes de pedir um plano

A forma mais rápida de melhorar a saída da experiment-designer é fornecer restrições reais. Inclua conversão baseline, MDE desejado, tráfego por segmento, duração esperada, limites de rollout, status da instrumentação e qual decisão o resultado precisa sustentar. Se você não souber esses dados, peça para a skill listar premissas e informações ausentes antes de redigir o experiment brief.

Fique atento aos modos de falha comuns

Revise a primeira resposta procurando estes problemas: várias métricas “primárias”, guardrails vagos, ausência de duração mínima de execução, falta de observações sobre randomização, tamanho de amostra irrealista, critérios de sucesso baseados apenas em p-value ou métricas de diagnóstico tratadas como critérios de ship/no-ship. Peça para a skill revisar a resposta com base no checklist em references/experiment-playbook.md.

Evolua do brief para o memorando de decisão

Um bom fluxo é: ideia inicial → experiment brief → checagem de tamanho de amostra → decisão de viabilidade → checklist de lançamento → memorando de interpretação. Depois que os resultados chegarem, informe o tamanho de efeito observado, intervalo de confiança, p-value se disponível, resultados das guardrails, tamanho de amostra atingido e quaisquer problemas de qualidade dos dados. Então peça à experiment-designer para separar significância estatística, significância prática e ação recomendada para o produto.

Adapte a skill ao seu time

Times podem melhorar a skill adicionando definições de métricas específicas da empresa, guardrails padrão, convenções da plataforma de experimentação, padrões aprovados de alpha/power, regras de segmentação e exemplos de boas decisões anteriores. Se a sua organização roda muitos experimentos com métricas contínuas ou usa métodos sequenciais, adicione referências separadas em vez de sobrecarregar a calculadora existente de duas proporções.