ab-test-analysis

ab-test-analysis 技能概览

ab-test-analysis 的作用

ab-test-analysis 技能帮助你用严谨的统计方法评估实验结果，再把数字转化成可执行的上线、延长或停止决策。它面向那些不满足于只看提升幅度的人：ab-test-analysis 不只是判断变体有没有“赢”，还会检查这个测试本身是否设置得足够可靠，结果值不值得信。

适合谁用

如果你在产品、增长、数据分析或实验平台相关岗位，需要一种可复用的 A/B 测试复盘方式，那么这个 ab-test-analysis skill 很适合你。对于 ab-test-analysis for Data Analysis 这类场景，尤其适用于解读转化数据、验证显著性，并把结论清楚地传达给非技术干系人。

它解决什么问题

真正要完成的任务，是判断一个结果能不能用于决策。ab-test-analysis 能帮助你做样本量校验、置信区间分析、显著性检验和 guardrail 检查，避免把误导性的结果直接上线，或者对噪声过度反应。

为什么值得安装

ab-test-analysis 的核心价值在于提升决策质量。它的设计目标是直接读取实验输入，支持基于文件的分析，并基于实验卫生标准给出建议，比如测试时长、随机分流和统计功效。如果你需要的是一份实用而不是纯理论的 ab-test-analysis guide，这个技能很合适。

如何使用 ab-test-analysis 技能

安装并定位该技能

通过 repo 命令运行 ab-test-analysis install 流程：
npx skills add phuryn/pm-skills --skill ab-test-analysis

安装完成后，先打开 SKILL.md。在这个仓库里，这个文件包含实际使用说明，也是了解 ab-test-analysis usage 路径时信号最强的来源。

在提示词里要提供什么

这个技能最适合在你给出实验上下文时使用，而不只是丢一堆原始数字。请包含假设、control 和 variant 的定义、主指标、guardrail、流量分配、测试时长，以及你手头的任何数据文件。一个较好的提示词示例如下：

“请分析这个关于结账按钮颜色的 A/B 测试。主指标是购买转化率，guardrail 是退款率，流量分配为 50/50，测试运行了 14 天，我附上了 CSV 导出文件。请检查样本量、SRM、置信区间，并给出 ship/extend/stop 建议。”

实际工作流程

先从结果文件入手，再确认实验设置，然后请求统计解读，最后才让它给出决策。这个顺序很重要，因为 ab-test-analysis 的设计目的，就是在你接受 uplift 之前先识别样本功效不足、随机分流异常和时序问题。

先读哪些文件和线索

这个仓库结构很精简，所以应优先查看 SKILL.md。如果目录后续扩展，优先关注 README.md、AGENTS.md、metadata.json、rules/、resources/、references/ 或 scripts/ 这些目录，因为它们最可能包含工作流约束、示例或计算辅助工具。

ab-test-analysis 技能 FAQ

ab-test-analysis 只适用于转化测试吗？

不是。它最常用于转化率实验，但只要你需要对两个变体做对比，并输出主指标、置信区间和决策建议，ab-test-analysis skill 都会很有用。若任务只是描述性汇报、没有实验设计，它的价值就会小很多。

我需要统计学背景吗？

不需要太多。这个技能对初学者很友好，因为它能帮你把分析结构搭起来，并把结果解释清楚。不过，ab-test-analysis 最适合的前提仍然是你能提供干净的输入，并能回答关于假设、指标和测试设计的基本问题。

它和普通提示词有什么不同？

普通提示词通常会直接跳到显著性判断。ab-test-analysis 则提供了更完整的流程：先核验实验设置，再检查样本量和时长，排查 SRM 或新颖性效应，最后再计算并解释结果。这个额外结构通常比一次性的分析提示词更容易得到更好的决策。

什么情况下不该用它？

如果你只需要仪表盘文案、营销写作，或者一份不需要统计判断的报告，就不该用 ab-test-analysis。当数据集不完整，且你无法识别 control、variant、指标或测试窗口时，它也不合适。

如何改进 ab-test-analysis 技能

给技能更完整的实验上下文

提升质量最大的方式，就是提供更强的输入。请包含假设、具体改动、分群定义、指标公式、持续时间以及任何排除条件。如果这些信息缺失，ab-test-analysis 仍然可能算出数字，但它给出的建议会更弱，因为它无法判断测试设计是否真的支撑这个结果。

以最适合分析的形式提供数据

如果你有 CSV 或导出文件，尽量提供按单元划分的逐行数据，或者分析所需的汇总计数。这个技能可以直接读取数据文件，所以请尽量给它既保留隐私又保留结构的最原始版本。能给表格就尽量不要给图表截图，因为表格更有利于做显著性和样本检查，也更可靠。

提出你真正需要的决策

最好的 ab-test-analysis usage 应该是围绕决策来组织的。不要只问“这个显著吗？”，而是直接问“给出 ship、extend 还是 stop，并说明理由和 caveats。”这样输出会更贴近业务动作，而不只是统计结果。

第一轮之后继续迭代

如果第一次分析显示功效不足、SRM 异常，或者 guardrail 指标出现混杂变化，就应补充更多上下文再重新提问，而不是硬逼它得出结论。常见的改进包括补充预先计算好的计数、澄清主指标，或者要求按分群或时间窗口拆分结果。这样通常是为你的具体实验拿到更好的 ab-test-analysis guide 的最快方式。