canary

Tổng quan về canary skill

canary skill dành cho giám sát sau khi triển khai, khi bạn cần xác minh rằng một ứng dụng đang chạy vẫn hoạt động đúng sau khi phát hành. Skill này theo dõi production để phát hiện lỗi console, lỗi trang và suy giảm hiệu năng, rồi so sánh hành vi hiện tại với baseline trước khi deploy. Nếu bạn cần một canary skill kiểm tra rủi ro thực tế mà người dùng nhìn thấy thay vì chỉ dựa vào một prompt tĩnh, đây là lựa chọn được thiết kế cho việc giám sát sau phát hành.

canary dùng để làm gì

Hãy dùng canary khi nhiệm vụ là theo dõi một lần deploy, phát hiện trang bị hỏng, hoặc xác nhận rằng bản phát hành không gây ra regression nhìn thấy được. Nó đặc biệt phù hợp với các đội muốn dùng canary cho Monitoring trên console, screenshot và lỗi ở cấp độ trang.

Vì sao nó khác một prompt chung chung

Một prompt kiểu “kiểm tra website” thường chỉ dừng ở mức xem bề mặt. canary được thiết kế xoay quanh một workflow giám sát: chạy sau deploy, quan sát hành vi thực tế theo thời gian, so sánh với baseline và đánh dấu bất thường. Nhờ vậy, nó hữu ích hơn khi câu hỏi là “production có đang khỏe ngay lúc này không?” thay vì “trang này trông có ổn một lần hay không?”

Phù hợp nhất và các giới hạn

Skill này hợp với workflow kiểu CI-adjacent hoặc vận hành, nơi độ tin cậy sau deploy rất quan trọng. Nó kém hữu ích hơn nếu bạn chỉ cần review nội dung một lần, đánh giá thiết kế, hoặc một checklist QA thủ công không cần giám sát liên tục. Rào cản triển khai lớn nhất thường là bối cảnh: canary hoạt động tốt nhất khi bạn có thể trỏ nó đúng vào target đang chạy thật và xác định rõ thế nào là “bình thường”.

Cách dùng canary skill

Cài đặt và thiết lập canary

Cài canary bằng luồng gstack skills được nêu trong repo, rồi bắt đầu bằng cách đọc SKILL.md và SKILL.md.tmpl. Skill này không đi kèm các thư mục hỗ trợ bổ sung, nên ngữ cảnh cài đặt cốt lõi nằm trong hai file đó. Nếu bạn đang điều chỉnh hướng dẫn canary cho repo của riêng mình, hãy nêu rõ URL production, sự kiện deploy và nguồn baseline ngay trong prompt.

Cần cung cấp gì trong prompt đầu tiên

Hãy đưa cho canary bộ thông tin nhỏ nhất nhưng đủ để việc giám sát có ý nghĩa:

• ứng dụng hoặc route cần theo dõi
• phần nào đã thay đổi trong deploy
• trước khi phát hành, trạng thái “tốt” trông như thế nào
• điều gì được tính là lỗi
• cần quan sát trong bao lâu

Một prompt yếu sẽ nói “theo dõi app”. Một prompt mạnh hơn sẽ nói “theo dõi /checkout sau deploy hôm nay, so sánh screenshot với baseline trước phát hành, và đánh dấu mọi lỗi console mới, nút bị hỏng, hoặc layout shift trong 10 phút.”

Quy trình đề xuất khi dùng canary

Hãy bắt đầu từ thời điểm deploy, rồi đi từ baseline sang quan sát và cuối cùng là kết luận. Trước hết xác nhận branch hoặc environment mục tiêu, sau đó xác định hành vi baseline, rồi yêu cầu kiểm tra live và báo cáo bất thường. Nếu bạn dùng skill theo kiểu tương tác, quyết định quan trọng nhất ở giai đoạn đầu là bạn muốn giám sát chủ động hay chỉ cần một lượt xác minh đơn lẻ, vì điều đó sẽ thay đổi cách skill nên framing các kiểm tra của nó.

Những file cần đọc trước

Đọc SKILL.md trước, rồi đến SKILL.md.tmpl để hiểu skill được sinh ra như thế nào và phần nào đóng vai trò logic workflow. Hãy đặc biệt chú ý đến các mục về preamble, an toàn của plan mode, việc gọi skill trong plan mode và routing. Đây là những phần có khả năng ảnh hưởng nhiều nhất đến việc canary có được kích hoạt đúng và chạy vào đúng thời điểm hay không.

Câu hỏi thường gặp về canary skill

canary chỉ dành cho giám sát production thôi à?

Không. Skill này được xây dựng cho các kiểm tra canary sau deploy, nên production là trường hợp sử dụng rõ nhất, nhưng cùng pattern đó cũng áp dụng được cho staging hoặc bất kỳ môi trường live nào mà bạn muốn so sánh baseline sau khi có thay đổi.

canary khác gì so với các prompt QA thông thường?

Các prompt thông thường thường chỉ yêu cầu kiểm tra một lần. canary mang tính vận hành hơn: nó được thiết kế để theo dõi regression, thu thập bằng chứng và so sánh trạng thái hiện tại với trạng thái trước đó. Vì thế, nó phù hợp hơn khi bạn cần canary cho Monitoring thay vì một bản review tổng quát.

canary có thân thiện với người mới không?

Có, nếu bạn có thể mô tả deploy, trang và các điều kiện lỗi. Phần khó không nằm ở việc dùng skill, mà là cung cấp đủ ngữ cảnh để nó đánh giá thay đổi so với một baseline có ý nghĩa. Nếu bạn không xác định được đã thay đổi gì hoặc điều gì պետք giữ ổn định, kết quả sẽ yếu hơn.

Khi nào tôi không nên dùng canary?

Đừng dùng nó cho phân tích sản phẩm tổng quát, chỉnh sửa nội dung, hoặc các tác vụ không phụ thuộc vào tình trạng thực của ứng dụng đang chạy. Nó cũng không phù hợp khi bạn không có baseline, không có quyền truy cập vào environment mục tiêu, hoặc không có ngưỡng pass/fail rõ ràng cho deploy.

Cách cải thiện canary skill

Cho canary một baseline sắc nét hơn

Nâng cấp hữu ích nhất là định nghĩa rõ hơn về trạng thái bình thường. Hãy cung cấp screenshot trước khi deploy, các URL đã biết là tốt, hành vi console mong đợi và những thành phần UI quan trọng phải giữ nguyên. Baseline càng chính xác, skill càng ít có khả năng báo động quá mức vì những khác biệt vô hại.

Nêu rõ các kiểu lỗi bạn quan tâm

canary sẽ hữu ích hơn rất nhiều khi bạn chỉ ra trước các regression có khả năng xảy ra: màn hình trắng, thiếu dữ liệu API, điều hướng bị hỏng, CSS bị lệch, lỗi console, tải trang chậm hoặc lỗi tương tác. Một canary skill biết phải tìm gì sẽ cho ra kết quả sẵn sàng để ra quyết định hơn nhiều so với việc chỉ được yêu cầu chung chung là “tìm vấn đề”.

Lặp lại sau lần chạy đầu tiên

Hãy dùng lần chạy đầu tiên để xem skill phát hiện điều gì, rồi siết lại prompt. Nếu nó báo nhiễu, hãy thu hẹp route hoặc tăng ngưỡng bất thường. Nếu nó bỏ sót vấn đề quan trọng, hãy bổ sung các luồng người dùng chính, văn bản kỳ vọng hoặc các điểm so sánh. Cách dùng canary guide hiệu quả là theo vòng lặp: đặt baseline, kiểm tra, tinh chỉnh, chạy lại.