report

report skill 概览

report skill 能做什么

report skill 是一个面向 Playwright 的测试报告工作流，用于把原始测试结果整理成清晰的状态报告。它适合用户提出“test report”“results summary”“test status”“show results”“test dashboard”或“how did tests go”这类需求时使用。它不只是简单概括终端日志，而是会引导 agent 检查已有的 Playwright 输出，在需要时运行测试，解析 JSON 结果，并根据当前交付场景生成真正可用的报告。

最适合 Test Automation 团队

这个 report skill 最适合 Test Automation 工程师、QA 负责人、使用 Playwright 的开发者，以及在需要快速汇总测试结果的代码仓库中工作的 agent。对于已经使用 test-results/、playwright-report/、GitHub Actions、Slack webhooks 或类似 TestRail 报告流程的团队，它尤其合适。它的核心职责不是生成测试用例，而是对测试运行后的结果进行解读，并交付测试状态。

为什么它比通用 prompt 更有用

通用的“summarize my tests”类 prompt 往往会忽略 Playwright 结果存放在哪里、是否应该重新跑测试，以及最终报告应该发送到哪里。report skill 补充了这些工作流判断：检查现有 artifacts；在缺少结果时用 JSON/HTML/list reporters 运行 Playwright；提取 passed、failed、skipped、flaky 数量；定位失败测试和错误信息；并在环境支持时选择输出目的地，例如 Markdown、HTML report、CI artifact、Slack 或 TestRail。

重要采用提示

上游 skill 很轻量：可见的仓库路径中只有 SKILL.md，没有辅助脚本、规则、参考资料或打包资源。这让它易于检查和改造，但也意味着你的 agent 必须依赖本地 Playwright 配置和可用的环境变量。安装前，请确认你的项目使用 Playwright，或者你愿意把这个工作流改造成适配其他 JavaScript test runner 的版本。

如何使用 report skill

report skill 安装场景

从目录使用的仓库路径安装该 skill：

npx skills add alirezarezvani/claude-skills --skill report

安装后，先检查 skill 源文件：

engineering-team/playwright-pro/skills/report/SKILL.md

发布预览中的 skill 没有额外支持目录，因此 SKILL.md 是主要操作指南。在你自己的仓库中，应检查 playwright.config.*、package.json、.github/workflows/、test-results/ 和 playwright-report/，弄清楚测试输出是如何生成的，以及报告应该路由到哪里。

skill 需要哪些输入

为了可靠地使用 report，请给 agent 足够上下文，避免它凭空猜测：

• 测试是否已经运行过
• Playwright 测试通常使用的命令
• 如果结果 artifacts 不在默认位置，说明其路径
• 是否启用了 retries，因为 flaky tests 通常从 retry 行为推断
• 期望输出格式：Markdown、PR comment、Slack summary、TestRail push 或本地 HTML report
• 任何环境约束，例如“不要重新运行测试”或“仅限 CI”

较弱的 prompt：

Make a test report.

更强的 prompt：

Use the report skill for this Playwright project. Do not rerun tests unless no recent results exist. Check test-results/ and playwright-report/, parse JSON output if available, summarize passed/failed/skipped/flaky counts, list failed tests with error messages, and produce a Markdown report for the release channel.

实用的 report 使用流程

一个好的 report 指南工作流是：

1. 使用 ls -la test-results/ playwright-report/ 2>/dev/null 检查现有 artifacts。
2. 如果没有可用结果，并且允许重新运行，则执行：

   npx playwright test --reporter=json,html,list 2>&1 | tee test-output.log
   

3. 解析 JSON 输出，提取总数、耗时、失败项、跳过测试和 retries。
4. 检测输出目的地：
   • TESTRAIL_URL 表示可能可以发布到 TestRail。
   • SLACK_WEBHOOK_URL 表示可以发送 Slack summary。
   • .github/workflows/ 表示可能需要 CI/PR 报告。
   • playwright-report/ 表示可以打开或托管 HTML report。
5. 除非用户明确只要求单一目的地，否则始终生成 Markdown summary。

提升输出质量的技巧

告诉 agent 这份报告要支持什么决策。发布经理需要风险和阻塞项；开发者需要失败的 specs、stack traces 和复现命令；QA 负责人可能需要 flaky-test 数量和耗时趋势。如果报告要粘贴到 PR 中，请要求生成精简摘要。如果用于事故复盘，请要求按 suite、browser 或错误模式对失败进行分组。

report skill 常见问题

report 只适用于 Playwright 吗？

这个 skill 是围绕 Playwright 命令、目录和 reporters 编写的，因此对 Playwright Test Automation 最准确。你可以把它的结构改造成适配 Jest、Cypress 或其他 runners，但命令、artifact 路径和 flaky-test 检测逻辑都需要调整。如果你的仓库没有测试 artifacts，也没有 Playwright 配置，普通 prompt 可能同样有效。

report 会自动运行测试吗？

如果没有找到近期结果，它可以引导 agent 使用 npx playwright test --reporter=json,html,list 运行测试。不过，你应该明确说明是否允许 rerun。对于大型测试套件，重新运行可能很慢、成本高，或者在 CI 失败后并不合适，因为原始运行环境本身可能很重要。

report skill 会生成什么？

默认输出是一份 Markdown 测试报告，包含 passed、failed、skipped、flaky tests 的数量、总耗时，以及失败测试详情。根据你的环境，这个工作流也可能把结果路由到 TestRail、Slack、GitHub Actions artifacts 或 PR comments，或者指向 Playwright HTML report。

什么时候不应该安装 report？

如果你的团队不使用 Playwright，已经有带严格 API 的专用报告平台，或者需要跨多次测试运行的历史分析，可以跳过或暂缓安装。这个 skill 是一个简洁的工作流 prompt，不是完整的报告服务、数据库、dashboard 或 flaky-test 管理系统。

如何改进 report skill

提问前先完善 report 输入

提升 report 结果最快的方法，是明确执行边界。包括测试命令、artifact 路径、输出目的地、受众和 rerun 策略。例如：

Generate a report for the CI Playwright run. Use existing artifacts only. Look in test-results/ and playwright-report/. Output a PR-ready Markdown summary with top failures, flaky tests, and whether the build should block merge.

这样可以避免 agent 浪费时间重新跑测试，或输出不合适的细节层级。

处理常见失败模式

常见问题包括缺少 JSON 输出、artifacts 过期、日志过大，以及 retries 含义不清。如果没有 JSON，可要求 agent 回退到 test-output.log 和 HTML report metadata。如果 artifacts 可能过期，应要求检查时间戳。如果日志太大，请要求按失败测试标题和第一条有意义的错误信息分组，而不是粘贴完整 stack traces。

让 report 适配团队工作流

由于该 skill 没有打包脚本，团队级改进通常通过添加本地约定来完成。记录你们偏好的报告模板、Slack channel 规则、TestRail project mapping、CI artifact URL pattern 和 severity labels。然后在 prompt 中引用这些约定，让 report skill 产出符合你们发布流程的结果。

在第一版报告后继续迭代

把第一版报告当作草稿。可以继续提出后续要求，例如：

• “Group failures by root cause.”
• “Separate product defects from test infrastructure failures.”
• “Add rerun recommendations for flaky tests.”
• “Make this suitable for a non-technical release update.”
• “Include exact commands to reproduce the failed specs.”

这样能让 report 聚焦在决策上，而不只是罗列数量。