experiment-designer

experiment-designer skill 概覽

experiment-designer 的用途

experiment-designer 是一項 Product Management skill，可將產品想法轉化為可測試的實驗，協助團隊建立更清楚的假設、預先定義指標、規劃樣本數、進行 ICE 優先排序、設定上線規則，並解讀實驗結果。當團隊需要比「來做 A/B test 吧」更嚴謹的方法，但又不想從零開始建立完整實驗手冊時，experiment-designer skill 特別實用。

最適合的使用者與決策情境

experiment-designer skill 適合正在規劃 A/B tests、多變量測試、holdouts，或功能實驗的 PM、成長負責人、UX 研究員、分析師與新創團隊。它能協助回答實務問題，例如：決策指標是什麼？值得偵測的 MDE 是多少？需要多少流量？哪個實驗應該先跑？結果要可信到什麼程度，才足以決定推出、回滾或重跑？

與一般 prompt 的差異

這個 repository 包含 SKILL.md 中的結構化工作流程、references/experiment-playbook.md 中的產品實驗手冊、references/statistics-reference.md 中適合 PM 閱讀的統計參考，以及用於兩比例樣本數估算的 Python 輔助腳本。這樣的組合讓 experiment-designer 比一般腦力激盪型 prompt 更具操作性：它會引導 agent 重視假設品質、guardrail metrics、固定停止規則與實務顯著性。

安裝前需要知道的限制

這不是完整的實驗平台、因果推論函式庫或 analytics SDK。內建的 scripts/sample_size_calculator.py 主要用於兩比例 A/B tests，因此連續型指標、比例指標、序貫測試、叢集分派，以及複雜的 marketplace experiments，都需要額外的統計審查。請用它來提升實驗設計品質，而不是在高風險決策中取代分析師驗證。

如何使用 experiment-designer skill

experiment-designer 安裝方式與優先閱讀檔案

使用以下指令從 GitHub repository 安裝這項 skill：

npx skills add alirezarezvani/claude-skills --skill experiment-designer

安裝後，建議依照以下順序閱讀檔案：

1. SKILL.md：了解核心工作流程與觸發情境。
2. references/experiment-playbook.md：了解實驗類型、指標設計、停止規則與上線前檢查。
3. references/statistics-reference.md：了解 p-values、confidence intervals、MDE、power 與實務顯著性。
4. scripts/sample_size_calculator.py：當你需要估算轉換率測試的流量或執行時間時閱讀。

skill 路徑是 product-team/skills/experiment-designer。

產出高品質結果所需的輸入

若要有效使用 experiment-designer，請不要只提供一個功能想法。應包含產品範圍、使用者區隔、預計介入方式、目前基準指標、目標指標變化、流量規模、上線限制與商業風險。當它能清楚區分 primary decision metric、guardrails 與 diagnostics 時，效果最好。

較弱的 prompt：

Design an experiment for our onboarding flow.

較好的 prompt：

Use experiment-designer for Product Management. We want to test replacing a 5-step onboarding checklist with a guided setup wizard for new B2B workspace admins. Current activation is 12% within 7 days. We care about activation as the primary metric, but must guardrail support tickets, setup completion time, and day-14 retention. Daily eligible users are about 1,200. We would ship only if uplift is at least 2 absolute percentage points and guardrails do not worsen materially.

規劃實驗的實務流程

一開始先請這項 skill 產出 If/Then/Because 假設，而不是立刻產生完整測試計畫。接著請它定義一個 primary metric、guardrail metrics、diagnostic metrics 與排除規則。下一步，使用 baseline rate、MDE、alpha、power 與每日樣本數，執行或要求樣本數規劃。

以轉換率實驗來說，可使用內建腳本：

python3 scripts/sample_size_calculator.py --baseline-rate 0.12 --mde 0.02 --mde-type absolute --daily-samples 1200

然後根據結果判斷實驗是否可行、是否檢定力不足，或是否應該改寫成預期效果更大的實驗、擴大受眾範圍，或改用成本較低的學習方法。

能有效啟用 skill 的 prompt 模板

可以使用類似以下結構的 prompt：

Apply the experiment-designer skill. Create an experiment brief for [intervention] targeting [segment]. Baseline [primary metric] is [value]; the smallest useful effect is [MDE]; daily eligible traffic is [volume]. Include hypothesis, primary/guardrail/diagnostic metrics, sample-size assumptions, ICE prioritization, stopping rules, launch checklist, and result interpretation guidance for ship/no-ship decisions.

這個結構能提供 agent 足夠資訊，避免產生模糊指標、不切實際的執行時間，以及事後才補上的決策規則。

experiment-designer skill 常見問題

experiment-designer 只適用於 A/B testing 嗎？

不是。experiment-designer skill 涵蓋 A/B tests、多變量測試、holdout tests、假設撰寫、指標選擇、優先排序與結果解讀。不過，它內建的計算器是專為兩比例轉換實驗設計，因此其他實驗設計可能需要另外的方法。

Product Management 初學者可以使用 experiment-designer 嗎？

可以，特別適合需要實用實驗規劃指南、但沒有深厚統計訓練的 PM。統計參考文件會用產品語言說明 p-value、confidence interval、MDE、power、Type I/II errors 與實務顯著性等概念。不過，當決策成本高或不可逆時，初學者仍應請分析師一起審查計畫。

什麼情況不應該使用這項 skill？

不要單靠它處理序貫測試、network effects、marketplace interference、長期留存研究、非隨機化的因果主張，或涉及法律、醫療、金融、安全後果的實驗。它可以協助整理決策架構，但在複雜假設下，不能保證推論一定有效。

這比直接請 AI 寫實驗計畫好在哪裡？

一般 prompt 可能會產出看起來完整的計畫，卻漏掉 MDE、停止規則、guardrails 或可行性評估。experiment-designer 針對常見會傷害產品實驗品質的失敗模式有明確取向：中途更改指標、太頻繁偷看結果、低估樣本數、過度重視統計顯著性，以及忽略實作成本。

如何改進 experiment-designer skill

在要求計畫前先改善 experiment-designer 輸入

提升 experiment-designer 輸出品質最快的方法，是提供真實限制條件。加入 baseline conversion、期望 MDE、各區隔流量、預期執行時間、rollout 限制、instrumentation 狀態，以及實驗結果必須支持哪一項決策。如果你不知道這些資訊，先請 skill 在撰寫 experiment brief 前列出假設與缺少的輸入。

留意常見失敗模式

檢查第一版輸出是否出現以下問題：有多個「primary」metrics、guardrails 模糊、沒有最短執行時間、沒有隨機化說明、樣本數不切實際、成功標準只看 p-value，或把 diagnostics 當成 ship/no-ship gates。請 skill 依照 references/experiment-playbook.md 中的 checklist 重新修訂。

從 brief 逐步迭代到決策備忘錄

好的工作流程是：粗略想法 → experiment brief → 樣本數檢查 → 可行性決策 → 上線 checklist → 解讀備忘錄。結果出來後，提供觀察到的 effect size、confidence interval、p-value（若有）、guardrail outcomes、已達樣本數，以及任何資料品質問題。接著請 experiment-designer 區分統計顯著性、實務顯著性與建議的產品行動。

為你的團隊擴充這項 skill

團隊可以透過加入公司專屬的指標定義、標準 guardrails、實驗平台慣例、核准使用的 alpha/power 預設值、分眾規則，以及過往優良決策範例，來改進這項 skill。如果你的組織大量執行連續型指標實驗，或使用序貫方法，建議新增獨立參考文件，而不是把既有的兩比例計算器硬塞成萬用工具。