experiment-designer

experiment-designer skill 概览

experiment-designer 能做什么

experiment-designer 是一项面向 Product Management 的 skill，用于把产品想法转化为可验证的实验：明确假设、预先定义指标、规划样本量、用 ICE 做优先级排序、制定上线规则，并解释实验结果。当团队需要比“我们做个 A/B test 吧”更严谨的方法，但又不想从零搭建一整套实验手册时，experiment-designer skill 尤其有用。

最适合的用户和决策场景

experiment-designer skill 适合 PM、增长负责人、UX researcher、分析师，以及正在规划 A/B tests、multivariate tests、holdouts 或功能实验的创业团队。它能帮助回答非常实际的问题：决策指标是什么？值得检测的 MDE 是多少？需要多少流量？哪个实验应该先做？结果要可信到什么程度，才足以支持上线、回滚或重跑？

它和普通 prompt 的区别

这个仓库包含 SKILL.md 中的结构化工作流、references/experiment-playbook.md 中的产品实验 playbook、references/statistics-reference.md 中面向 PM 的统计参考，以及一个用于双比例样本量估算的 Python 辅助脚本。这样的组合让 experiment-designer 比普通头脑风暴 prompt 更偏执行落地：它会引导 agent 关注假设质量、guardrail metrics、固定停止规则和实际显著性，而不只是生成一份看起来完整的计划。

安装前需要了解的重要限制

这不是完整的实验平台、因果推断库，也不是 analytics SDK。内置的 scripts/sample_size_calculator.py 主要面向双比例 A/B tests，因此连续指标、比率指标、序贯测试、聚类分配以及复杂 marketplace 实验都需要额外的统计审查。你可以用它提升实验设计质量，但不要用它替代分析师对高风险决策的验证。

如何使用 experiment-designer skill

experiment-designer 安装方式和优先阅读的文件

使用以下命令从 GitHub repository 安装该 skill：

npx skills add alirezarezvani/claude-skills --skill experiment-designer

安装后，建议按这个顺序阅读文件：

1. SKILL.md：了解核心工作流和触发场景。
2. references/experiment-playbook.md：了解实验类型、指标设计、停止规则和上线前检查。
3. references/statistics-reference.md：了解 p-values、confidence intervals、MDE、power 和 practical significance。
4. scripts/sample_size_calculator.py：当你需要为转化率实验估算流量或运行周期时阅读。

该 skill 的路径是 product-team/skills/experiment-designer。

为了获得高质量输出，需要提供哪些输入

想让 experiment-designer 产出有用结果，不要只给一个功能想法。请尽量提供产品区域、用户分群、拟议改动、当前 baseline metric、目标指标变化、流量规模、上线限制和业务风险。它在能够区分 primary decision metric、guardrails 和 diagnostics 时效果最好。

较弱的 prompt：

Design an experiment for our onboarding flow.

更强的 prompt：

Use experiment-designer for Product Management. We want to test replacing a 5-step onboarding checklist with a guided setup wizard for new B2B workspace admins. Current activation is 12% within 7 days. We care about activation as the primary metric, but must guardrail support tickets, setup completion time, and day-14 retention. Daily eligible users are about 1,200. We would ship only if uplift is at least 2 absolute percentage points and guardrails do not worsen materially.

规划实验的实用工作流

一开始先让 skill 产出 If/Then/Because hypothesis，而不是直接生成完整 test plan。然后再让它定义一个 primary metric、guardrail metrics、diagnostic metrics 和 exclusion rules。接下来，根据 baseline rate、MDE、alpha、power 和 daily samples 进行或请求样本量规划。

对于转化实验，可以像这样使用内置脚本：

python3 scripts/sample_size_calculator.py --baseline-rate 0.12 --mde 0.02 --mde-type absolute --daily-samples 1200

然后根据结果判断实验是否可行、是否 power 不足，或者是否应该通过更大的预期效果、更广的人群，或成本更低的学习方式来重新 framing 这个实验。

能较好调用 experiment-designer skill 的 prompt 模式

可以使用这样的 prompt 结构：

Apply the experiment-designer skill. Create an experiment brief for [intervention] targeting [segment]. Baseline [primary metric] is [value]; the smallest useful effect is [MDE]; daily eligible traffic is [volume]. Include hypothesis, primary/guardrail/diagnostic metrics, sample-size assumptions, ICE prioritization, stopping rules, launch checklist, and result interpretation guidance for ship/no-ship decisions.

这种结构能让 agent 获得足够信息，避免输出模糊指标、不现实的运行周期，以及事后补定的决策规则。

experiment-designer skill 常见问题

experiment-designer 只适用于 A/B testing 吗？

不是。experiment-designer skill 覆盖 A/B tests、multivariate tests、holdout tests、假设撰写、指标选择、优先级排序和结果解释。不过，它内置的 calculator 专门用于双比例转化实验，因此其他设计可能需要单独的方法。

新手可以把 experiment-designer 用于 Product Management 吗？

可以，尤其适合需要实用实验规划指南、但没有深厚统计训练的 PM。统计参考会用产品语境解释 p-value、confidence interval、MDE、power、Type I/II errors 和 practical significance 等概念。不过，当决策成本很高或难以逆转时，新手仍应让分析师一起 review 实验方案。

什么时候不应该使用这个 skill？

不要单独依赖它来处理序贯测试、网络效应、marketplace interference、长期留存研究、非随机化因果结论，或涉及法律、医疗、金融、安全后果的实验。它可以帮助结构化决策，但在复杂假设下并不能保证推断有效。

它为什么比直接要求生成实验计划更好？

普通 prompt 可能生成一份看起来精致的计划，却遗漏 MDE、停止规则、guardrails 或可行性判断。experiment-designer 针对的是产品实验中常见且破坏性很强的失败模式：实验中途改指标、过于频繁地偷看结果、低估样本量、过度看重统计显著性，以及忽略实施成本。

如何改进 experiment-designer skill

在要求生成计划前，先改进 experiment-designer 输入

提升 experiment-designer 输出质量最快的方法，是提供真实约束。加入 baseline conversion、期望 MDE、按分群拆分的流量、预期运行周期、rollout 限制、埋点状态，以及实验结果必须支持的决策。如果你还不知道这些信息，可以先让 skill 在撰写 experiment brief 前列出假设和缺失输入。

留意常见失败模式

检查第一版输出是否存在这些问题：多个“primary” metrics、guardrails 含糊不清、没有最短运行时长、没有 randomization notes、样本量不现实、成功标准只基于 p-value，或者把 diagnostics 当成 ship/no-ship gates。可以要求 skill 对照 references/experiment-playbook.md 中的 checklist 进行修订。

从 brief 迭代到 decision memo

一个好的工作流是：粗略想法 → experiment brief → sample-size check → feasibility decision → launch checklist → interpretation memo。结果出来后，提供 observed effect size、confidence interval、p-value（如果有）、guardrail outcomes、实际达到的 sample size，以及任何 data-quality issues。然后让 experiment-designer 区分 statistical significance、practical significance 和推荐的产品动作。

为你的团队扩展这个 skill

团队可以通过加入公司特定的指标定义、标准 guardrails、实验平台约定、批准使用的 alpha/power 默认值、分群规则，以及过去优质决策案例来改进这个 skill。如果你的组织大量运行连续指标实验，或使用序贯方法，建议添加单独的 references，而不是把现有的双比例 calculator 扩展得过于复杂。