ab-test-setup

ab-test-setup 技能總覽

ab-test-setup 是用來做什麼的

ab-test-setup 技能可協助你把一個模糊的實驗想法，整理成真正可執行、可落地的 Conversion 測試計畫。它特別適合行銷人員、成長團隊、產品行銷與 PM，用來判斷該測什麼、要怎麼設計測試，以及目前流量是否足以得出有意義的結論。

誰適合安裝這個技能

如果你經常需要協助處理以下情境，建議安裝 ab-test-setup：

• 標題或 CTA 實驗
• landing page 與 signup flow 測試
• 訊息或 offer 變動的 variant 規劃
• sample size、測試期間與 significance 相關問題
• 判斷某個想法到底適不適合做 A/B test

如果你的團隊已經不缺點子，但缺少一套可重複使用的實驗 brief，這個技能尤其有價值。

這個技能真正解決的工作

多數失敗的測試，問題不在於 variant 點子不好，而是在 setup 太弱：沒有清楚的假設、一次改太多東西、沒有 baseline、沒有可偵測效果目標，或缺乏 guardrails。ab-test-setup skill 的設計目的，就是在上線前強迫補齊這些原本容易被忽略的基本功。

這個技能和一般 prompt 有什麼不同

一般 prompt 常常只會幫你想測試點子；ab-test-setup 則會把重點推向更有效、也更合理的實驗規劃：

• 從 hypothesis 出發，而不是只說「試兩個版本」
• 會要求 baseline conversion rate 與 traffic
• 會納入 sample size 與 test duration 的考量
• 能區分 A/B、A/B/n 與 multivariate 的選擇
• 會提醒不要偷看結果，也會警告 underpowered tests
• 會指向 repo 內的 templates 與 sample-size 參考資料

最適合與不適合的使用情境

最適合：

• 你已經知道要測哪一頁、哪一群受眾、以及目標是什麼
• 你需要快速產出一份結構完整的測試 brief
• 你想為 Conversion 實驗建立更好的 prompting 流程

不適合：

• 你目前首先需要的是 instrumentation 或 event tracking 設計
• 你想先拿到頁面改寫點子，還不是測試計畫
• 你的流量非常低，需要的是正式測試以外的替代方案

如何使用 ab-test-setup 技能

在你的 skills 環境安裝 ab-test-setup

請依照目錄基準頁提供的 repository 安裝方式：

npx skills add https://github.com/coreyhaines31/marketingskills --skill ab-test-setup

安裝後，先打開以下檔案：

• skills/ab-test-setup/SKILL.md
• skills/ab-test-setup/references/sample-size-guide.md
• skills/ab-test-setup/references/test-templates.md
• skills/ab-test-setup/evals/evals.json

這些檔案的重要性高於快速瀏覽，因為它們直接展示了這個技能預期的決策流程、輸出格式，以及品質門檻。

先讀這幾個檔案

如果你在使用 ab-test-setup 前只能先讀三個檔案，請優先看：

1. SKILL.md：了解觸發條件與規劃邏輯
2. references/sample-size-guide.md：用來判斷可行性與測試時長
3. references/test-templates.md：看模型應該輸出的最終結構

接著再查看 evals/evals.json，了解這個技能在真實 prompt 情境下，什麼樣的回答才算好答案。

ab-test-setup 需要哪些輸入

只要你提供以下資訊，這個技能的表現會明顯更好：

• 要測試的頁面或功能
• 主要 conversion event
• 目前的 baseline conversion rate
• 每月或每週流量
• 預計進行的改動
• 目標 audience segment
• 工具或實作限制
• 時程或 launch window
• 對 false positives 的風險容忍度

如果沒有 baseline 與 traffic，ab-test-setup usage 就會變得比較泛，對實際決策的幫助也會下降。

如果有 product marketing context，先提供

repo 明確要求這個技能優先查看 .agents/product-marketing-context.md 或 .claude/product-marketing-context.md。這點很重要，因為好的實驗設計很依賴：

• audience
• positioning
• 核心主張
• 現行 messaging strategy
• funnel stage

如果你的環境中有這個檔案，請確保模型在重複追問探索問題之前，先把它讀完。

把粗略想法改寫成更強的 ab-test-setup prompt

弱的 prompt：

We want to test our homepage headline. What should we do?

更好的 prompt：

Use ab-test-setup to plan an A/B test for our homepage headline. Current headline: "The All-in-One Project Management Tool." Proposed direction: more benefit-focused messaging for SaaS team leads. Baseline signup rate is 3.2%. We get about 15,000 homepage visitors per month. Primary goal is signup rate. We can implement one variant only, 50/50 traffic split, in our existing testing tool. Please create a hypothesis, recommend test type, estimate sample needs and likely duration, define primary/secondary/guardrail metrics, and flag risks like peeking or low power.

第二種寫法提供了足夠的情境，讓技能能產出一份計畫，而不是只給泛泛的腦力激盪建議。

直接要求你真正需要的輸出格式

參考檔裡已經有可重複使用的 templates，因此你可以直接要求以下格式之一：

• 供審核用的 experiment brief
• launch checklist
• test plan template
• stakeholder update
• post-test readout shell

實用 prompt：

Use the test plan template format from references/test-templates.md and fill only fields we can support with the data provided. Mark missing assumptions clearly.

這樣可以減少後續整理工作，也能更早暴露缺少的輸入資訊。

用這個技能做決策，不只是拿來生點子

最實用的 ab-test-setup guide 使用流程是：

1. 描述預計進行的改動
2. 說清楚商業目標
3. 提供 baseline 與 traffic
4. 詢問這個測試是否可行
5. 再要求具體 metric 與執行條件
6. 最後才請它提出 variant 建議

這個順序很重要，因為它能避免團隊在無法達到足夠 sample size 的測試上投入過多時間。

了解它強制執行的核心規劃原則

從原始內容來看，這個技能特別強調：

• 先從清楚的 hypothesis 開始
• 一次只測一件事
• 定義 primary、secondary 與 guardrail metrics
• 預估 sample size 與最低測試期間
• 不要因為前期雜訊造成的短暫領先就提早收測

如果你的組織常常在缺乏這些控制條件下就直接上「快速測試」，這個技能就能補上真正的價值。

如何把 ab-test-setup 用在 Conversion 工作上

在使用 ab-test-setup for Conversion 時，除了 variant 想法，也要把商業影響一併說清楚。好的輸入包括：

• 目前 conversion 的瓶頸
• 為什麼現有頁面可能表現不佳
• 預期改動的作用機制
• 最低值得採取行動的 lift
• 哪些 segments 不能變差

例如：

We think our pricing page CTA underperforms because it asks for commitment too early. Plan an A/B test comparing "Start Free Trial" vs "See Plans First." Baseline click-through is 6.8%, downstream trial-start rate is 2.1%, and pricing page traffic is 40,000 sessions/month. We care most about completed trial starts, not just button clicks. Include guardrails so a CTR lift does not hide lower-quality signups.

這樣的 prompt，會比單純要求測按鈕顏色，更能引導出正確的 metric 選擇。

什麼時候這個技能會反駁你的想法

當 ab-test-setup 說出以下這些話時，通常正是它最有幫助的時候：

• 這個情況不應該做 multivariate
• 你的流量不足以支撐四個 variants
• 你的 MDE 設得不切實際地小
• 你的 primary metric 和實際測試改動距離太遠
• 你把太多改動混在一起，無法做因果學習

這種反駁不是阻力，而是這個技能本身的價值所在。

repo 支撐的常見使用情境

根據 skill 內容與 evals，適合的用法包括：

• homepage headline A/B tests
• pricing 或 signup 頁面的 CTA variant 測試
• 判斷 A/B/n 是否現實可行
• 根據 traffic 與 baseline 規劃測試時間
• 為實驗 rollout 建立結構化文件

evals 也顯示，當使用者隨口問出像「should we test 4 CTA colors?」這種需求時，這個技能應該能把對話引導回更紮實的實驗設計。

ab-test-setup 技能常見問題

ab-test-setup 適合初學者嗎？

適合，但前提是你已經理解自己的頁面與目標。這個技能能補上初學者最常漏掉的結構：hypothesis、sample size 思維、metrics 與 duration。不過，如果你需要的是從零開始的統計學入門，它就不是最合適的工具。

和一般 prompting 相比，最大優勢是什麼？

最大優勢是「限制與約束」。ab-test-setup 不只是幫你產生 variants，而是幫你界定這個測試值不值得做，以及要如何量測才算有效。多數情況下，這比單純生點子更省時間。

我一定要有非常精確的 traffic 和 conversion 數據嗎？

越精確越好，但方向性的估算也仍然有用。如果你只有粗估值，請明確說明。技能仍然可以產出規劃草稿，只是 sample-size 與 duration 建議的可信度會比較低。

ab-test-setup 可以處理兩個以上的 variants 嗎？

可以，但它也應該提醒你：variants 越多，所需 sample 也會上升。如果流量不高，A/B test 往往會比 A/B/n 或 multivariate testing 更實際。

什麼情況下不該使用 ab-test-setup？

以下情況不建議把它當成主要工具：

• tracking 缺漏或不可靠
• 流量太低，無法做有意義的推論
• 你需要的是 CRO rewrite，不是 test plan
• 改動幅度大到真正的阻礙其實是實作可行性
• 你目前首先需要 analytics instrumentation 設計

這個技能是否綁定特定測試平台？

看不出有平台綁定。這個技能偏重規劃，因此只要你能明確指定 traffic split、metrics 與 implementation constraints，理論上就能搭配大多數 experimentation tools 使用。

ab-test-setup 也能協助 post-test analysis 嗎？

部分可以。templates 裡包含結果文件的結構，但它最強的價值仍然在 pre-launch setup。最好的用法，是在測試開始前就先定義成功條件。

如何改進 ab-test-setup 技能的使用效果

提供更強的 hypothesis，不要只丟 variant 請求

不好的輸入：

Test this new copy against the old copy.

更好的輸入：

Because users may not understand our current value proposition quickly, we believe replacing feature-led copy with outcome-led copy will increase signup starts among first-time visitors. We will measure signup rate as the primary metric and bounce rate plus demo-request rate as secondary checks.

這樣能讓 ab-test-setup 驗證一個具因果邏輯的故事，而不只是比較兩個成品。

提供最基本可用的實驗資料集

若要提升 ab-test-setup 的輸出品質，請盡量固定提供：

• baseline conversion rate
• traffic volume
• minimum meaningful lift
• 明確的 conversion event
• audience
• implementation constraints
• 可接受的 test duration

這些輸入會直接提升 sample-size 邏輯與可行性建議的品質。

避開最常見的失敗模式

輸出偏弱，通常來自以下幾種情況：

• 太多改動被打包進同一個 test
• 沒有 baseline metric
• 把 vanity metric 當成 primary KPI
• 在不考慮實際 traffic 的前提下要求 significance
• 測的是上游 micro-metric，但真正商業目標其實在下游

如果你在下 prompt 前先修正這些問題，這個技能會實用很多。

告訴技能哪些指標絕對不能變差

更強的 ab-test-setup skill prompt 會加入 guardrails，例如：

• lead quality
• refund rate
• bounce rate
• activation rate
• revenue per visitor

這能避免出現那種「表面上贏了、實際上業務品質變差」的假性勝利。

把 sample-size 參考檔當成可行性篩選器

在花時間想 variants 之前，先看 references/sample-size-guide.md。它能幫你回答：

• 這個測試能否在合理時間內完成？
• 你想要的 lift 是否小到根本難以偵測？
• 減少 variants 會不會更聰明？
• 與其做細微 tweak，是否應該改成更大幅度的變動？

對安裝決策而言，這是 repo 裡價值最高的檔案之一。

優先重用 templates，而不是每次自由發揮

references/test-templates.md 是提升團隊採用率最快的方式。你可以要求模型填寫：

• test plan
• prioritization scorecard
• stakeholder update
• hypothesis bank entry

freeform 回答雖然容易產出，但通常比較難真正拿去執行。

第一版完成後，再迭代一次

跑完第一輪 ab-test-setup usage 後，建議再做一次 refinement：

1. 收斂 hypothesis
2. 把範圍縮成單一變數
3. 用可操作的定義取代模糊 metrics
4. 確認 traffic split 與 duration
5. 追問目前還缺哪些 assumptions

很多時候，第二輪修正帶來的改善，會比再多想幾個 variant 還大。

將 ab-test-setup 與相鄰技能搭配使用，但要分工清楚

這個技能本身也指出了相鄰需求：

• 如果瓶頸在 measurement setup，請用 analytics-tracking
• 如果你在正式測試前需要頁面優化點子，請用 page-cro

這樣的分工很有用。ab-test-setup 最強的時機，是你已經知道想評估哪個改動，接下來需要一份有效、站得住腳的實驗計畫。