judge

Tổng quan về skill judge

judge làm gì

Skill judge khởi chạy một quy trình đánh giá hai giai đoạn: trước hết, một meta-judge xác định rubric phù hợp cho tác vụ, sau đó một sub-agent judge chấm điểm đầu ra với ngữ cảnh và bằng chứng được tách biệt. Đây là lựa chọn phù hợp nhất khi bạn cần một bản review có kỷ luật cho code, phân tích, viết lách hoặc đầu ra của agent, thay vì chỉ một nhận xét cảm tính.

Ai nên dùng judge

Hãy dùng skill judge khi bạn muốn một đánh giá chỉ trả về báo cáo, có tiêu chí rõ ràng, có trích dẫn và có phản hồi hành động được. Skill này đặc biệt hợp cho review Skill Authoring, review thay đổi trong repo, và bất kỳ tác vụ nào mà thiên kiến xác nhận hoặc phần dư của phiên làm việc có thể làm lệch phán đoán.

Vì sao judge khác biệt

Khác với một prompt chung chung chỉ yêu cầu “feedback”, judge xây dựng tiêu chí đánh giá trước khi bắt đầu chấm điểm. Điều đó khiến skill judge phù hợp hơn khi loại artifact chưa chắc chắn, khi bạn cần chấm điểm đa chiều, hoặc khi bản review phải đủ vững để giải trình với một người khác.

Cách dùng judge skill

Cài judge và kiểm tra file đầu vào

Cài bằng npx skills add NeoLabHQ/context-engineering-kit --skill judge. Hãy bắt đầu với plugins/sadd/skills/judge/SKILL.md, vì file này chứa workflow, input và các ràng buộc đánh giá quyết định cách judge hoạt động sau khi cài.

Đưa cho judge một mục tiêu đánh giá cụ thể

Skill này hoạt động tốt nhất khi bạn nêu rõ tác phẩm cần đánh giá và góc nhìn đánh giá. Một prompt mạnh sẽ giống như: Judge the last draft of the launch page for clarity, SEO fit, and factual accuracy. Prompt yếu như Review this sẽ để quá nhiều phần đoán định cho meta-judge.

Cung cấp đúng ngữ cảnh cho pipeline của judge

Hãy đưa vào artifact cần đánh giá, tiêu chí thành công, và mọi ràng buộc cứng như giọng điệu, đối tượng độc giả, ưu tiên của rubric, hoặc các thay đổi bị cấm. Nếu bạn dùng judge cho Skill Authoring, hãy nói rõ điều đó và nêu tên skill mục tiêu, vì rubric phải thay đổi để phản ánh độ rõ ràng khi cài đặt, khả năng được tìm thấy, và chất lượng hướng dẫn.

Đọc các file này trước

Khi cài đặt và điều chỉnh, hãy đọc SKILL.md trước, rồi đến bất kỳ file workflow hoặc policy nào mà repo có. Trong repo này, phần nội dung của skill chính là nguồn sự thật chính, nên đường đi nhanh nhất là xem cấu trúc prompt, các pha workflow, và yêu cầu về bằng chứng trước khi bạn sao chép mẫu này vào hệ thống của mình.

Câu hỏi thường gặp về judge skill

judge chỉ dành cho review code thôi à?

Không. Skill judge được thiết kế để đánh giá mọi đầu ra có thể quy về rubric: prompt, tài liệu, phân tích, đầu ra của agent, hoặc quyết định thiết kế. Điều cốt lõi là kết quả phải có thể được chấm dựa trên tiêu chí rõ ràng kèm bằng chứng.

Khi nào không nên dùng judge?

Không nên dùng judge khi bạn chỉ cần một phản ứng chủ quan nhanh, khi chưa có artifact hoàn chỉnh, hoặc khi tác vụ không thể đánh giá bằng bằng chứng. Trong những trường hợp đó, một prompt đơn giản thường nhanh hơn và ít mong manh hơn.

judge có phù hợp cho người mới không?

Có, nếu người dùng có thể nêu tên artifact và tiêu chí thành công. Người mới thường chỉ gặp khó khi yêu cầu một phán xét mà không có ngữ cảnh. Skill này giảm bớt vấn đề đó bằng cách bắt buộc có bước meta-judge, nhưng nó vẫn cần một mục tiêu thật rõ.

judge khác gì so với prompt thông thường?

Một prompt thông thường thường yêu cầu cùng một model vừa tự nghĩ ra tiêu chí vừa chấm kết quả trong một lượt. Skill judge tách hai vai trò này ra, nhờ vậy thường tăng tính nhất quán, giảm thiên kiến, và làm báo cáo cuối cùng dễ tin cậy hơn.

Cách cải thiện judge skill

Làm rõ mục tiêu đánh giá

Input tốt nhất cho judge sẽ nêu đúng artifact, đối tượng sử dụng mong muốn, và quyết định mà bạn đang muốn hỗ trợ. Ví dụ: Evaluate the new onboarding doc for first-time contributors, with emphasis on setup clarity and missing prerequisites. Cách này tốt hơn Check my doc vì rubric có thể bám sát rủi ro thực tế của người dùng.

Thêm các ràng buộc ảnh hưởng đến rubric

Nếu bạn quan tâm đến bằng chứng ở mức dòng, yêu cầu trích dẫn, hoặc một thang điểm cụ thể, hãy nói ngay từ đầu. Judge làm tốt hơn khi nó biết phải ưu tiên độ đúng, tính đầy đủ, độ rõ ràng về UX, hay mức độ tuân thủ policy, thay vì tự động dàn đều tất cả.

Lặp lại sau báo cáo đầu tiên

Hãy dùng báo cáo judge đầu tiên để siết chặt prompt tiếp theo: bổ sung ngữ cảnh còn thiếu, làm rõ các đánh đổi, và nêu bất kỳ phần nào bạn thấy bị chấm quá nhẹ. Với Skill Authoring, vòng lặp hữu ích nhất thường là yêu cầu judge đánh giá lại riêng độ rõ khi cài đặt, tính thực tế của cách dùng, và các trường hợp biên.

Theo dõi các chế độ lỗi thường gặp

Judge có thể kém hiệu quả khi nội dung nguồn quá mơ hồ, khi artifact chưa hoàn chỉnh, hoặc khi trọng tâm đánh giá bị nhồi quá nhiều mục tiêu. Nếu gặp tình huống đó, hãy tách tác vụ thành nhiều lượt hẹp hơn và chỉ đưa cho judge phần tài liệu cần thiết cho quyết định hiện tại.