experiment-designer
作成者 alirezarezvaniexperiment-designer は、Product Management チームが A/B テストやフィーチャー実験を設計するための skill です。検証可能な仮説、指標設計、サンプルサイズ計画、ICE による優先順位付け、停止ルール、結果の解釈までを整理できます。
この skill のスコアは 80/100 です。汎用プロンプトよりも厳密にプロダクト実験を構造化したいディレクトリ利用者にとって、有力な掲載候補です。明確な起動条件、実行しやすいワークフロー、補足リファレンス、実用的な script を備えています。一方で、インストール手順がより明確で、統計ツールの対応範囲が広ければ、さらに導入しやすくなります。
- プロダクト実験の計画、仮説作成、サンプルサイズ見積もり、ICE 優先順位付け、A/B 結果解釈に向いた明確な起動条件があります。
- If/Then/Because 形式の仮説、指標階層、サンプルサイズ見積もり、ICE スコアリング、停止ルール、解釈まで、エージェントが実行しやすい具体的なワークフローを備えています。
- 実験プレイブックの進め方や統計概念を参照資料で段階的に確認でき、実行可能なサンプルサイズ calculator script も用意されています。
- skill フォルダ内にインストールコマンドや README がないため、ユーザーはリポジトリ全体の慣例からインストール方法を推測する必要があります。
- 付属の calculator が対象とするのは二比率のコンバージョンテストです。平均値ベースの検定、逐次検定、多変量の検出力設計は実装されていません。
experiment-designer skill の概要
experiment-designer でできること
experiment-designer は、プロダクトアイデアを検証可能な実験に落とし込むための Product Management skill です。仮説を明確にし、事前に指標を定義し、サンプルサイズを見積もり、ICE で優先順位を付け、ローンチ判断のルールを決め、結果の解釈まで支援します。「とりあえず A/B テストしよう」よりも厳密に進めたい一方で、実験運用のプレイブックをゼロから作るほどではないチームに向いています。
向いているユーザーと意思決定
experiment-designer skill は、A/B テスト、多変量テスト、ホールドアウト、機能実験を計画する PM、グロース担当、UX リサーチャー、アナリスト、スタートアップチームに適しています。たとえば「意思決定に使う指標は何か」「検出する価値のある MDE はどれくらいか」「必要なトラフィック量はどれくらいか」「どの実験を先に走らせるべきか」「出荷、ロールバック、再実験を判断できるほど信頼できる結果とは何か」といった実務上の問いに答える助けになります。
汎用プロンプトとの違い
このリポジトリには、SKILL.md の構造化されたワークフロー、references/experiment-playbook.md のプロダクト実験プレイブック、references/statistics-reference.md の PM 向け統計リファレンス、そして 2 標本比率のサンプルサイズ推定に使える Python ヘルパースクリプトが含まれています。この組み合わせにより、experiment-designer は単なるアイデア出しプロンプトよりも運用に近い形で使えます。エージェントが仮説の質、ガードレール指標、固定された停止ルール、実務上意味のある差に目を向けるよう促します。
インストール前に知っておきたい制約
これは、完全な実験プラットフォームでも、因果推論ライブラリでも、分析 SDK でもありません。含まれている scripts/sample_size_calculator.py は 2 標本比率の A/B テストを想定しているため、連続値指標、比率指標、逐次検定、クラスター単位の割り付け、複雑なマーケットプレイス実験には追加の統計レビューが必要です。重要な意思決定でアナリストの検証を置き換えるためではなく、実験設計の質を高めるために使ってください。
experiment-designer skill の使い方
experiment-designer のインストールと最初に読むファイル
GitHub リポジトリから次のコマンドで skill をインストールします。
npx skills add alirezarezvani/claude-skills --skill experiment-designer
インストール後は、次の順番でファイルを読むのがおすすめです。
SKILL.md：中心となるワークフローと起動される文脈を確認します。references/experiment-playbook.md：実験タイプ、指標設計、停止ルール、ローンチ前チェックを確認します。references/statistics-reference.md：p-value、信頼区間、MDE、検出力、実務上の有意性を確認します。scripts/sample_size_calculator.py：コンバージョン率テストのトラフィック量や実行期間を見積もる必要がある場合に確認します。
skill のパスは product-team/skills/experiment-designer です。
精度の高い出力に必要な入力
experiment-designer を有効に使うには、単なる機能アイデア以上の情報を渡してください。プロダクト領域、ユーザーセグメント、提案する介入、現在のベースライン指標、狙いたい指標変化、トラフィック量、ローンチ上の制約、ビジネスリスクを含めるとよいです。この skill は、主要な意思決定指標と、ガードレール指標や診断用指標を切り分けられるときに最も力を発揮します。
弱いプロンプト:
Design an experiment for our onboarding flow.
より良いプロンプト:
Use experiment-designer for Product Management. We want to test replacing a 5-step onboarding checklist with a guided setup wizard for new B2B workspace admins. Current activation is 12% within 7 days. We care about activation as the primary metric, but must guardrail support tickets, setup completion time, and day-14 retention. Daily eligible users are about 1,200. We would ship only if uplift is at least 2 absolute percentage points and guardrails do not worsen materially.
実験計画の実務ワークフロー
いきなりテスト計画を作らせるのではなく、まず If/Then/Because 形式の仮説を作るよう skill に依頼します。次に、主要指標、ガードレール指標、診断用指標、除外ルールを定義させます。そのうえで、ベースライン率、MDE、alpha、power、日次サンプル数を使ってサンプルサイズ計画を実行または依頼します。
コンバージョン実験では、含まれているスクリプトを次のように使えます。
python3 scripts/sample_size_calculator.py --baseline-rate 0.12 --mde 0.02 --mde-type absolute --daily-samples 1200
その結果をもとに、実験が実行可能か、検出力が不足しすぎているか、より大きな期待効果を置くべきか、対象母集団を広げるべきか、あるいは低コストな学習方法に組み替えるべきかを判断します。
skill をうまく呼び出すプロンプト例
次のような形のプロンプトを使います。
Apply the experiment-designer skill. Create an experiment brief for
[intervention]targeting[segment]. Baseline[primary metric]is[value]; the smallest useful effect is[MDE]; daily eligible traffic is[volume]. Include hypothesis, primary/guardrail/diagnostic metrics, sample-size assumptions, ICE prioritization, stopping rules, launch checklist, and result interpretation guidance for ship/no-ship decisions.
この構造にすると、曖昧な指標、非現実的な実行期間、後付けの意思決定ルールを避けるために必要な情報をエージェントへ渡せます。
experiment-designer skill FAQ
experiment-designer は A/B テスト専用ですか？
いいえ。experiment-designer skill は、A/B テスト、多変量テスト、ホールドアウトテスト、仮説作成、指標選定、優先順位付け、結果解釈を扱います。ただし、内蔵の計算ツールは 2 標本比率のコンバージョン実験に特化しているため、その他の設計では別の手法が必要になる場合があります。
Product Management 初心者でも experiment-designer を使えますか？
はい。特に、深い統計知識はないものの、実験計画を実務的に進めたい PM に役立ちます。統計リファレンスでは、p-value、信頼区間、MDE、検出力、Type I/II errors、実務上の有意性といった概念をプロダクトの文脈で説明しています。ただし、費用が大きい、または取り返しのつかない意思決定では、初心者であっても計画をアナリストにレビューしてもらうべきです。
この skill を使うべきではないケースは？
逐次検定、ネットワーク効果、マーケットプレイス内の干渉、長期リテンション研究、ランダム化されていない因果主張、法務・医療・金融・安全に関わる結果を伴う実験では、この skill だけに依存しないでください。意思決定の構造化には役立ちますが、複雑な前提のもとで妥当な推論が保証されるわけではありません。
実験計画を普通に依頼するより何が良いのですか？
通常のプロンプトでも見栄えのよい計画は作れますが、MDE、停止ルール、ガードレール、実行可能性が抜けることがあります。experiment-designer は、プロダクト実験を損ないがちな失敗パターンに対して明確な方針を持っています。途中で指標を変える、頻繁に覗き見する、サンプルサイズを過小評価する、統計的有意性を過大評価する、実装コストを無視するといった問題を避ける設計です。
experiment-designer skill を改善する方法
計画を依頼する前に experiment-designer への入力を改善する
experiment-designer の出力をすばやく良くするには、実際の制約を渡すのが最も効果的です。ベースラインのコンバージョン、希望する MDE、セグメント別トラフィック、想定実行期間、ロールアウト制限、計測実装の状態、結果が支えるべき意思決定を追加してください。これらが分からない場合は、実験ブリーフを作る前に、前提条件と不足している入力を列挙するよう skill に依頼します。
よくある失敗パターンを確認する
最初の出力では、次の問題がないか確認します。複数の「主要」指標がある、ガードレールが曖昧、最短実行期間がない、ランダム化に関する記述がない、サンプルサイズが非現実的、成功基準が p-value だけに依存している、診断用指標が ship/no-ship のゲートとして扱われている、といった点です。references/experiment-playbook.md のチェックリストに照らして修正するよう skill に依頼してください。
ブリーフから意思決定メモへ反復する
良いワークフローは、ラフなアイデア → 実験ブリーフ → サンプルサイズ確認 → 実行可否判断 → ローンチチェックリスト → 解釈メモ、という流れです。結果が出たら、観測された効果量、信頼区間、利用可能であれば p-value、ガードレールの結果、到達したサンプルサイズ、データ品質上の問題を渡します。そのうえで、統計的有意性、実務上の有意性、推奨されるプロダクトアクションを分けて整理するよう experiment-designer に依頼します。
チーム向けに skill を拡張する
チームで skill を改善するには、自社固有の指標定義、標準的なガードレール、実験プラットフォーム上の慣習、承認済みの alpha/power のデフォルト、セグメンテーションルール、過去の良い意思決定例を追加します。継続値指標の実験を多く実施する組織や逐次手法を使う組織では、既存の 2 標本比率計算ツールに無理に詰め込むのではなく、別のリファレンスを追加してください。