ab-test-setup

ab-test-setup skill 概覽

ab-test-setup 的設計用途

ab-test-setup 是一個行銷實驗規劃 skill，用來設計具體、可衡量，且在統計上站得住腳的 A/B tests。它能把「測試新的 signup CTA」這類模糊的轉換率想法，整理成有假設、變體、指標、樣本數假設、測試期間、成功標準與上線前檢查的結構化實驗。

最適合的使用者與決策情境

ab-test-setup skill 特別適合 growth marketers、product managers、lifecycle teams、CRO specialists，以及需要在交付設計、工程或實驗平台前，先判斷某個轉換率改動是否值得測試的 founders。它尤其適用於 landing pages、signup flows、pricing pages、onboarding steps、email funnels，以及 feature adoption tests。

與一般 prompt 的差異

一般 A/B testing prompt 可能只會產出一份檢查清單。這個 skill 會把焦點推進到能讓實驗進入決策階段的要素：單一測試變數、清楚的假設、primary 與 guardrail metrics、baseline conversion rate、minimum detectable effect、流量限制，以及避免 early stopping。此 repository 也包含 references/sample-size-guide.md、references/test-templates.md 和 scripts/sample_size_calculator.py，讓 agent 不只提供文案建議，而是有可落地的實驗規劃結構。

什麼情況下可能不夠用

請把 ab-test-setup 用在實驗設計，而不是完整的 analytics implementation。如果你需要 event instrumentation、warehouse modeling、tag manager configuration 或 dashboard setup，應搭配 analytics 或 tracking workflow 一起使用。它也無法補救流量太少、成功指標不清楚、同時改動多個項目，或完全沒有 baseline data 的測試。

如何使用 ab-test-setup skill

ab-test-setup 安裝方式與 repository 路徑

使用以下指令從 GitHub repository 安裝 skill：

npx skills add alirezarezvani/claude-skills --skill ab-test-setup

Source path 是 marketing-skill/skills/ab-test-setup。安裝後，先閱讀 SKILL.md，接著打開 references/test-templates.md 查看規劃架構、references/sample-size-guide.md 理解樣本數推估邏輯；如果你想使用本機、只依賴 stdlib、無需 pip dependencies 的 Python 計算器，再查看 scripts/sample_size_calculator.py。

產出高品質結果所需的輸入

若要讓 ab-test-setup 發揮作用，請提供 business goal、test surface、目前 conversion rate、預估每日 eligible traffic、proposed change、audience、tooling constraints，以及對商業上有意義的最小提升幅度。如果你有 .claude/product-marketing-context.md，這個 skill 的設計會先讀取該檔案，因此請把 positioning、audience、funnel 和 offer context 維護在那裡。

較弱的請求是：「Design an A/B test for my landing page.」

較好的請求是：「Use ab-test-setup for Conversion on our B2B SaaS pricing page. Baseline demo-request conversion is 4.8%, eligible traffic is 900 visitors/day, proposed change is replacing a feature-grid hero with ROI-focused copy and a new CTA. We can run for up to 4 weeks in VWO, 50/50 traffic split, primary metric is demo requests, guardrails are bounce rate and paid signup quality. Minimum meaningful lift is 15%.」

從想法到上線計畫的建議流程

先請這個 skill 驗證想法是否適合測試。接著請它依照 repository template 產出一頁式 test plan：hypothesis、control、variant、traffic allocation、sample size、duration、metrics、segmentation plan 與 decision rules。然後使用 baseline 和 MDE 進行或要求 sample size estimation。最後，請它提供上線前 QA checklist，涵蓋 targeting、mutual exclusivity、event tracking、variant rendering，以及測試期間不應變更的項目。

能提升品質的實用 prompt 寫法

請 skill 區分「test design」與「implementation details」，避免計畫把策略和工具設定混在一起。明確告訴它你要 A/B、A/B/n 或 multivariate testing；否則它應預設測試一個主要變數。如果流量偏低，請它建議替代方案，例如提高 MDE、延長測試期間、先做 qualitative validation，或改測流量更高的步驟，而不是假裝很容易達到 significance。

ab-test-setup skill 常見問題

ab-test-setup 只適用於網站轉換率測試嗎？

不是。只要你能定義 population、variants、exposure 和可衡量的 outcome，它就適合用於任何 controlled experiment。它很適合 landing pages、checkout flows、onboarding screens、email subject lines、lifecycle messages 和 in-product prompts。若是品牌認知活動，因為 attribution 較間接、exposure 也無法乾淨控制，就比較不適合。

初學者可以使用這個 skill 嗎？

可以，但初學者應提供真實數字。這個 skill 可以解釋 hypotheses、MDE、power、confidence 和 guardrail metrics，但仍需要 baseline conversion 和 traffic estimates，才能避免做出不切實際的規劃。如果你不知道 baseline，請先要求它產出 measurement plan，或「data needed before launch」checklist。

它和使用 experimentation tool template 有什麼不同？

Experimentation tools 可以協助啟動和監控測試，但不一定會挑戰這個測試是否值得執行。ab-test-setup skill 適合在工具設定前使用，因為它會先釐清你到底在測什麼、為什麼這件事重要、可能需要跑多久，以及什麼樣的結果算是 win、loss 或 inconclusive outcome。

什麼時候不該使用 ab-test-setup？

如果你想同時更改多個主要頁面元素，卻仍聲稱知道是哪一項造成結果，就不該使用它。也應避免用在 eligible traffic 不足、primary metrics 未追蹤、頁面狀態不穩定、受季節性異常影響，或團隊一看到早期數字有利就會停止實驗的情境。

如何改進 ab-test-setup skill

用更好的 baseline 提升 ab-test-setup 結果

最重要的改進，是提供更好的輸入資料。請提供實際的 conversion denominator，而不只是說「we get leads」。例如，請說「420 demo requests from 8,750 pricing-page visitors in the last 30 days」，而不是「about 5% conversion」。也請包含排除條件，例如 internal traffic、returning customers、bot filtering，以及該指標是 session-based、user-based 還是 account-based。

留意常見失敗模式

最常見的失敗包括目標過大、測試流量不足、hypotheses 模糊，以及 success metrics 無法對應到商業價值。另一個常見失敗是過度分群：在總樣本數勉強只夠檢驗 primary metric 的情況下，還要求分析 mobile、desktop、new users、returning users、industry、source 和 plan type。請要求 skill 優先排序 segments，而不是什麼都分析。

第一版計畫後持續迭代

取得第一版輸出後，請 skill 以 experiment reviewer 的角度批判這份計畫。實用的追問包括：「What would make this result inconclusive?」、「Which assumption is weakest?」、「Is the MDE realistic for our traffic?」、「What should be frozen during the test?」以及「What decision should we make if the primary metric improves but lead quality drops?」

為你的團隊延伸這個 skill

若要讓 ab-test-setup 更有價值，請把你們標準的 experimentation platform、naming conventions、event taxonomy、QA checklist 和 approval process 加到 local context。如果你的團隊反覆測試同一個 funnel，請維護 pricing、signup、checkout、email 和 onboarding experiments 的可重用範例，讓 skill 產出的計畫符合你的 operating model，而不是一般性的 CRO documentation。