ab-test-setup

ab-test-setup skill 概览

ab-test-setup 的核心用途

ab-test-setup 是一项面向营销实验的 skill，用于规划具体、可衡量且在统计上站得住脚的 A/B 测试。它可以把“测试一个新的注册 CTA”这类模糊的转化想法，整理成结构化实验方案，包括假设、变体、指标、样本量假设、测试周期、成功标准以及上线前检查。

最适合的用户与决策场景

ab-test-setup skill 特别适合增长营销、产品经理、生命周期运营团队、CRO 专家和创业者使用，用来判断某个转化改动是否值得进入测试，再交给设计、工程或实验平台执行。它尤其适用于落地页、注册流程、定价页、 onboarding 步骤、邮件漏斗和功能采用率测试。

它和通用提示词有什么不同

普通的 A/B 测试提示词可能只会生成一份检查清单。这个 skill 更关注让实验可以直接用于决策的关键部分：单一测试变量、清晰假设、主指标与 guardrail metrics、基准转化率、最小可检测效果、流量约束，以及不要提前停止测试。该仓库还包含 references/sample-size-guide.md、references/test-templates.md 和 scripts/sample_size_calculator.py，能为 agent 提供超出文案建议之外的实用结构。

哪些情况它可能不够用

ab-test-setup 适合用于实验设计，不是完整的数据分析实施方案。如果你需要事件埋点、数据仓库建模、tag manager 配置或 dashboard 搭建，应搭配分析或追踪相关工作流一起使用。对于流量太少、成功指标不清楚、同时改动多个变量或缺少基准数据的测试，它也无法“补救”。

如何使用 ab-test-setup skill

ab-test-setup 安装方式与仓库路径

使用以下命令从 GitHub 仓库安装该 skill：

npx skills add alirezarezvani/claude-skills --skill ab-test-setup

源码路径是 marketing-skill/skills/ab-test-setup。安装后，先阅读 SKILL.md，再打开 references/test-templates.md 查看规划结构，阅读 references/sample-size-guide.md 理解样本量推导；如果你想使用一个本地 stdlib Python 计算器且不依赖 pip，可以查看 scripts/sample_size_calculator.py。

为了获得高质量输出，需要提供哪些输入

为了更有效地使用 ab-test-setup，请提供业务目标、测试位置、当前转化率、预估每日符合条件的流量、拟议改动、目标受众、工具限制，以及在商业上真正有意义的最小提升幅度。如果你有 .claude/product-marketing-context.md，这个 skill 设计上会优先读取该文件，因此建议把定位、受众、漏斗和 offer 背景维护在里面。

较弱的请求是：“帮我的落地页设计一个 A/B 测试。”

更好的请求是：“Use ab-test-setup for Conversion on our B2B SaaS pricing page. Baseline demo-request conversion is 4.8%, eligible traffic is 900 visitors/day, proposed change is replacing a feature-grid hero with ROI-focused copy and a new CTA. We can run for up to 4 weeks in VWO, 50/50 traffic split, primary metric is demo requests, guardrails are bounce rate and paid signup quality. Minimum meaningful lift is 15%.”

从想法到上线计划的推荐工作流

先让这个 skill 判断你的想法是否适合测试。然后让它基于仓库模板产出一页测试计划：假设、control、variant、流量分配、样本量、测试周期、指标、分群计划和决策规则。接着，基于基准数据和 MDE 运行或请求样本量估算。最后，让它生成上线前 QA 清单，覆盖定向规则、互斥性、事件追踪、变体渲染，以及测试期间哪些内容不能改动。

能提升输出质量的实用提示词写法

要求这个 skill 区分“测试设计”和“实现细节”，避免方案把策略判断和工具配置混在一起。明确告诉它你要做 A/B、A/B/n 还是多变量测试；否则它应默认只测试一个主要变量。如果流量较低，请让它推荐替代方案，例如更大的 MDE、更长的测试周期、先做定性验证，或改为测试流量更高的步骤，而不是假装很容易获得统计显著性。

ab-test-setup skill 常见问题

ab-test-setup 只适用于网站转化测试吗？

不是。只要能够定义测试人群、变体、曝光和可衡量结果，它就适用于任何受控实验。它适合用于落地页、结账流程、onboarding 页面、邮件标题、生命周期消息和产品内提示。对于品牌认知类活动，如果归因是间接的、曝光也无法被干净地控制，就不太适合。

初学者可以使用这个 skill 吗？

可以，但初学者需要提供真实数字。这个 skill 可以解释假设、MDE、power、confidence 和 guardrail metrics，但仍然需要基准转化率和流量估算，才能避免做出不切实际的测试计划。如果你不知道基准数据，建议先让它给出测量计划，或生成一份“上线前需要补齐的数据”清单。

它和实验工具里的模板相比有什么区别？

实验工具可以帮助发布和监控测试，但不一定会质疑这个测试是否值得做。ab-test-setup skill 适合在配置工具之前使用，因为它能明确你到底在测试什么、为什么这件事重要、可能需要多久，以及什么结果应被判定为胜出、失败或无法下结论。

什么时候不应该使用 ab-test-setup？

如果你想同时修改多个重要页面元素，却仍然声称能知道到底是哪一个改动带来了结果，就不要使用它。对于符合条件的流量不足、主指标未追踪、页面不稳定、存在季节性异常，或团队会在早期数字看起来不错时立刻停止实验的情况，也应避免使用。

如何改进 ab-test-setup skill

用更好的基准数据改进 ab-test-setup 结果

最重要的改进是提供更好的输入数据。请给出真实的转化分母，而不是只说“我们能拿到线索”。例如，说“过去 30 天内，定价页 8,750 名访客产生了 420 个 demo requests”，而不是“转化率大约 5%”。同时说明排除项，例如内部流量、回访客户、bot 过滤，以及该指标是按 session、user 还是 account 统计。

留意常见失败模式

最常见的问题包括目标过大、测试流量不足、假设模糊，以及成功指标无法对应到业务价值。另一个常见问题是过度分群：在总样本量勉强够判断主指标的情况下，还要求分析 mobile、desktop、新用户、回访用户、行业、来源和 plan type。应让这个 skill 优先排序分群，而不是分析所有维度。

第一版方案之后继续迭代

拿到第一版输出后，让这个 skill 以实验评审者的视角审查方案。有效的追问包括：“What would make this result inconclusive?”、“Which assumption is weakest?”、“Is the MDE realistic for our traffic?”、“What should be frozen during the test?” 以及 “What decision should we make if the primary metric improves but lead quality drops?”

为你的团队扩展这个 skill

为了让 ab-test-setup 更有价值，可以把你们常用的实验平台、命名规范、事件分类体系、QA 清单和审批流程加入本地上下文。如果团队经常测试同一条漏斗，建议维护可复用示例，覆盖定价页、注册、结账、邮件和 onboarding 实验，这样这个 skill 生成的方案会更贴合你的运营模式，而不是泛泛的 CRO 文档。