report

Tổng quan về report skill

report skill làm gì

report skill là một quy trình báo cáo kết quả kiểm thử tập trung vào Playwright, dùng để biến kết quả test thô thành một báo cáo trạng thái rõ ràng. report skill phù hợp khi người dùng yêu cầu “test report”, “results summary”, “test status”, “show results”, “test dashboard” hoặc “how did tests go”. Thay vì chỉ tóm tắt log trong terminal, skill này hướng dẫn agent kiểm tra output Playwright hiện có, chạy test khi cần, phân tích kết quả JSON và tạo báo cáo hữu ích cho bối cảnh bàn giao hiện tại.

Phù hợp nhất với đội Test Automation

report skill phù hợp nhất với kỹ sư Test Automation, QA lead, lập trình viên dùng Playwright và các agent làm việc trong repository cần tóm tắt nhanh kết quả test. Skill này đặc biệt hữu ích khi đội đã dùng test-results/, playwright-report/, GitHub Actions, Slack webhooks hoặc mô hình báo cáo kiểu TestRail. Nhiệm vụ chính của nó không phải là tạo test mới, mà là diễn giải kết quả sau khi chạy và chuyển trạng thái test đến đúng nơi cần dùng.

Vì sao hữu ích hơn một prompt chung chung

Một prompt kiểu “summarize my tests” thường bỏ sót nơi Playwright lưu kết quả, việc có nên chạy lại test hay không, và báo cáo cuối cùng nên được gửi đi đâu. report skill bổ sung các quyết định theo quy trình: kiểm tra artifact hiện có, chạy Playwright với reporter JSON/HTML/list khi thiếu kết quả, trích xuất số lượng pass/fail/skip/flaky, xác định test lỗi kèm thông báo, và chọn điểm đến như Markdown, HTML report, CI artifact, Slack hoặc TestRail nếu môi trường hỗ trợ.

Lưu ý quan trọng trước khi áp dụng

Skill upstream khá gọn nhẹ: đường dẫn repository hiển thị chỉ có SKILL.md, không kèm helper scripts, rules, references hay bundled assets. Điều này giúp dễ đọc và dễ tùy chỉnh, nhưng cũng có nghĩa là agent phải dựa vào cấu hình Playwright cục bộ và các biến môi trường sẵn có. Trước khi cài đặt, hãy xác nhận dự án của bạn đang dùng Playwright, hoặc bạn sẵn sàng điều chỉnh workflow này cho một JavaScript test runner khác.

Cách sử dụng report skill

Bối cảnh cài đặt report

Cài skill từ đường dẫn repository được thư mục sử dụng:

npx skills add alirezarezvani/claude-skills --skill report

Sau khi cài đặt, hãy kiểm tra source của skill trước:

engineering-team/playwright-pro/skills/report/SKILL.md

Trong bản xem trước skill đã publish không có thư mục hỗ trợ bổ sung, vì vậy SKILL.md là hướng dẫn vận hành chính. Trong repository của bạn, hãy kiểm tra playwright.config.*, package.json, .github/workflows/, test-results/ và playwright-report/ để hiểu output test được tạo ra như thế nào và báo cáo nên được định tuyến đến đâu.

Thông tin đầu vào report skill cần

Để dùng report ổn định, hãy cung cấp đủ ngữ cảnh để agent không phải đoán:

• Test đã được chạy hay chưa
• Command thường dùng để chạy Playwright tests
• Vị trí artifact kết quả, nếu không dùng mặc định
• Retry có được bật hay không, vì flaky tests thường được suy ra từ hành vi retry
• Định dạng output mong muốn: Markdown, PR comment, Slack summary, TestRail push hoặc local HTML report
• Ràng buộc môi trường, chẳng hạn “do not rerun tests” hoặc “CI only”

Prompt yếu:

Make a test report.

Prompt tốt hơn:

Use the report skill for this Playwright project. Do not rerun tests unless no recent results exist. Check test-results/ and playwright-report/, parse JSON output if available, summarize passed/failed/skipped/flaky counts, list failed tests with error messages, and produce a Markdown report for the release channel.

Quy trình dùng report trong thực tế

Một workflow tốt cho report guide là:

1. Kiểm tra artifact hiện có bằng ls -la test-results/ playwright-report/ 2>/dev/null.
2. Nếu không có kết quả dùng được và được phép chạy lại, chạy:

   npx playwright test --reporter=json,html,list 2>&1 | tee test-output.log
   

3. Phân tích JSON output để lấy tổng số, thời lượng, lỗi, test bị skip và retry.
4. Nhận diện điểm đến:
   • TESTRAIL_URL cho thấy có thể publish lên TestRail.
   • SLACK_WEBHOOK_URL cho thấy có thể gửi Slack summary.
   • .github/workflows/ cho thấy báo cáo CI/PR có thể liên quan.
   • playwright-report/ cho thấy HTML report có thể được mở hoặc phục vụ.
5. Luôn tạo Markdown summary, trừ khi người dùng chỉ yêu cầu một điểm đến duy nhất.

Mẹo để output chất lượng hơn

Hãy nói rõ báo cáo này phục vụ quyết định nào. Release manager cần rủi ro và blocker; developer cần spec đang fail, stack trace và command tái hiện; QA lead có thể cần số lượng flaky-test và xu hướng thời lượng. Nếu báo cáo sẽ được dán vào PR, hãy yêu cầu bản tóm tắt gọn. Nếu dùng cho incident review, hãy yêu cầu nhóm lỗi theo suite, browser hoặc mẫu lỗi.

FAQ về report skill

report có chỉ dành cho Playwright không?

Skill này được viết xoay quanh command, thư mục và reporter của Playwright, nên chính xác nhất cho Playwright Test Automation. Bạn có thể điều chỉnh cấu trúc của nó cho Jest, Cypress hoặc các runner khác, nhưng command, đường dẫn artifact và cách phát hiện flaky-test sẽ cần chỉnh lại. Nếu repository không có test artifact và cũng không có thiết lập Playwright, prompt thông thường có thể hiệu quả tương đương.

report có tự động chạy test không?

Skill có thể hướng dẫn agent chạy test nếu không tìm thấy kết quả gần đây, bằng npx playwright test --reporter=json,html,list. Tuy nhiên, bạn nên nói rõ có cho phép chạy lại hay không. Với test suite lớn, việc chạy lại có thể chậm, tốn chi phí hoặc không phù hợp sau một lỗi CI, nơi môi trường ban đầu rất quan trọng.

report skill tạo ra gì?

Output mặc định là một báo cáo test dạng Markdown, gồm số lượng test passed, failed, skipped, flaky, tổng thời lượng và chi tiết các test bị lỗi. Tùy vào môi trường, workflow cũng có thể định tuyến kết quả đến TestRail, Slack, GitHub Actions artifacts hoặc PR comments, hoặc Playwright HTML report.

Khi nào không nên cài report?

Nên bỏ qua hoặc hoãn cài đặt nếu đội của bạn không dùng Playwright, đã có nền tảng báo cáo riêng với API nghiêm ngặt, hoặc cần phân tích lịch sử vượt ra ngoài một lần chạy test. Skill này là một workflow prompt ngắn gọn, không phải dịch vụ báo cáo đầy đủ, database, dashboard hay hệ thống quản lý flaky-test.

Cách cải thiện report skill

Cải thiện input cho report trước khi yêu cầu

Cách nhanh nhất để cải thiện kết quả từ report skill là cung cấp ranh giới thực thi rõ ràng. Hãy đưa vào test command, đường dẫn artifact, điểm đến, đối tượng đọc báo cáo và chính sách chạy lại. Ví dụ:

Generate a report for the CI Playwright run. Use existing artifacts only. Look in test-results/ and playwright-report/. Output a PR-ready Markdown summary with top failures, flaky tests, and whether the build should block merge.

Cách này giúp agent không mất thời gian chạy lại test hoặc tạo báo cáo sai mức độ chi tiết.

Xử lý các lỗi thường gặp

Các vấn đề phổ biến gồm thiếu JSON output, artifact cũ, log quá lớn và retry không rõ ràng. Nếu không có JSON, hãy yêu cầu agent fallback sang test-output.log và metadata của HTML report. Nếu artifact có thể đã cũ, hãy yêu cầu kiểm tra timestamp. Nếu log quá dài, hãy yêu cầu nhóm theo tiêu đề test bị lỗi và thông báo lỗi có ý nghĩa đầu tiên, thay vì dán toàn bộ stack trace.

Điều chỉnh report theo workflow của đội

Vì skill không kèm bundled scripts, phần cải thiện theo từng đội thường đến từ việc bổ sung quy ước cục bộ. Hãy ghi lại mẫu báo cáo ưa thích, quy tắc kênh Slack, mapping project TestRail, mẫu URL CI artifact và nhãn mức độ nghiêm trọng. Sau đó tham chiếu các quy ước đó trong prompt để report skill có thể tạo output khớp với quy trình release của bạn.

Lặp lại sau báo cáo đầu tiên

Hãy xem báo cáo đầu tiên như một bản nháp. Đặt các câu hỏi tiếp nối như:

• “Group failures by root cause.”
• “Separate product defects from test infrastructure failures.”
• “Add rerun recommendations for flaky tests.”
• “Make this suitable for a non-technical release update.”
• “Include exact commands to reproduce the failed specs.”

Điều này giữ cho report tập trung vào quyết định cần đưa ra, thay vì chỉ là các con số.