self-eval

Tổng quan về self-eval skill

self-eval dùng để làm gì

self-eval skill là một Claude Code skill dạng prompt-only, dùng để đánh giá trung thực sau khi hoàn thành công việc. Nó giúp AI agent tự xem xét đầu ra của mình sau một tác vụ, phiên review code, buổi triển khai, lượt debug hoặc bài lập kế hoạch mà không mặc định đưa ra lời khen chung chung hay các điểm số “4/5” bị thổi phồng.

Thay vì hỏi “Việc này tốt đến mức nào?” trên một thang đo chủ quan duy nhất, self-eval tách phần đánh giá thành hai trục: độ tham vọng của nhiệm vụ và chất lượng thực thi. Cách này hữu ích khi bạn cần một câu trả lời đã được hiệu chỉnh cho câu hỏi: “Đây có thật sự là kết quả mạnh, hay chỉ là làm ổn một việc dễ?”

Người dùng và tác vụ phù hợp nhất

Hãy dùng self-eval skill nếu bạn muốn agent rà soát công việc đã hoàn tất trước khi bạn chấp nhận, merge hoặc tiếp tục xây dựng dựa trên đó. Skill này đặc biệt phù hợp với các nhóm kỹ thuật dùng AI cho tạo code, refactor, phân loại issue, viết test hoặc phân tích kiến trúc.

Nó không thay thế test suite, review của con người, review bảo mật hay xác thực trên production. Giá trị chính của nó nằm ở khả năng tự phê bình có cấu trúc: giảm tự tin quá mức, làm lộ điểm yếu và tạo lịch sử điểm số qua nhiều phiên làm việc.

Điểm khác biệt so với prompt đánh giá thông thường

Một prompt kiểu “hãy đánh giá công việc của bạn” thường tạo ra vài điểm tích cực chung chung, vài lưu ý nhẹ và một điểm số lạc quan. self-eval thêm các ràng buộc khiến việc thổi phồng điểm khó hơn: bắt buộc lập luận theo vai trò phản biện, dùng ma trận chấm điểm cố định và lưu điểm vào .self-eval-scores.jsonl.

Cơ chế lưu điểm này rất quan trọng. Nếu các lần đánh giá gần đây tụ lại quá sát nhau, skill có thể cảnh báo xu hướng thổi phồng điểm thay vì xem từng lần review là một trường hợp tách biệt.

Cách dùng self-eval skill

Cài đặt self-eval và kiểm tra repository

Cài đặt từ nguồn GitHub skill bằng skill manager của bạn, ví dụ:

npx skills add alirezarezvani/claude-skills --skill self-eval

Đường dẫn repository liên quan là:

engineering/skills/self-eval/SKILL.md

Trong cấu trúc hiện tại không có dependency bên ngoài, helper script, bundled rules hay reference file. Để review nhanh trước khi cài, hãy đọc SKILL.md trước; file này chứa mô hình chấm điểm, workflow và kỳ vọng về đầu ra. Vì đây là prompt-only skill, rủi ro khi áp dụng thấp, nhưng chất lượng đầu ra phụ thuộc rất nhiều vào việc bạn cung cấp đủ ngữ cảnh nhiệm vụ.

Đầu vào mà skill cần

Để dùng self-eval hiệu quả, đừng chỉ nói “hãy đánh giá việc này.” Hãy cung cấp cho agent phần công việc đã hoàn tất và tiêu chuẩn dùng để đánh giá nó.

Đầu vào tốt nên gồm:

• Yêu cầu ban đầu của người dùng hoặc mô tả issue
• Câu trả lời cuối cùng, patch, kế hoạch hoặc review do agent tạo ra
• Các ràng buộc liên quan, chẳng hạn giới hạn thời gian, quy tắc style, yêu cầu test hoặc cách làm bị cấm
• Bằng chứng xác thực, chẳng hạn test đã chạy, file đã thay đổi, command đã thực thi hoặc các khoảng trống đã biết
• Đối tượng đọc dự kiến: maintainer, reviewer, product owner, người mới bắt đầu hoặc đội production

Một prompt yếu chỉ yêu cầu chấm điểm. Một prompt mạnh cung cấp đủ bằng chứng để skill phân biệt giữa “độ tham vọng thấp nhưng làm sạch” và “độ tham vọng cao nhưng chưa hoàn chỉnh.”

Mẫu prompt để có kết quả tốt hơn với self-eval

Dùng self-eval sau khi công việc đã hoàn tất, không phải trước đó. Một prompt thực tế có dạng:

Use the self-eval skill to evaluate the work below. Original task: [goal]. Output produced: [answer or diff summary]. Constraints: [tests, style, repo rules]. Validation performed: [commands or none]. Known concerns: [risks]. Give the two-axis evaluation, devil's advocate reasoning, final matrix score, and concrete follow-up actions.

Cấu trúc này cải thiện kết quả vì nó ngăn model chỉ đánh giá giọng văn hoặc mức độ nỗ lực. Nó buộc phần review phải xét đến độ tham vọng, chất lượng thực thi, bằng chứng và rủi ro còn tồn tại.

Workflow đề xuất

Chạy self-eval tại các điểm kiểm tra mà một đánh giá quá tích cực có thể gây tốn kém:

1. Hoàn thành tác vụ hoặc phác thảo giải pháp.
2. Yêu cầu self-eval bằng mục tiêu ban đầu và bằng chứng công việc.
3. Đọc phần phản biện trước khi xem điểm cuối cùng.
4. Chuyển các điểm yếu thành một danh sách sửa ngắn.
5. Chỉ chạy lại sau khi có thay đổi đáng kể, không phải sau các chỉnh sửa hình thức.

Nếu .self-eval-scores.jsonl được tạo trong working directory của bạn, hãy xem đó là lịch sử đánh giá cục bộ. Quyết định xem nhóm của bạn muốn commit file đó, ignore nó hay review định kỳ.

FAQ về self-eval skill

self-eval dùng cho Model Evaluation hay chất lượng code?

Nó hữu ích cho cả hai, nhưng theo nghĩa hẹp. self-eval for Model Evaluation nên được hiểu là đánh giá ở cấp độ tác vụ đối với chính công việc của AI agent, không phải đo lường model theo chuẩn benchmark. Nó có thể giúp so sánh các phiên làm việc, phát hiện việc tự chấm điểm bị thổi phồng và cải thiện kỷ luật review, nhưng không thay thế eval harness chính thức, golden dataset hay chấm điểm do con người gán nhãn.

Khi nào không nên dùng self-eval?

Không dùng nó làm cổng kiểm duyệt duy nhất cho công việc rủi ro cao: thay đổi nhạy cảm về bảo mật, nội dung pháp lý hoặc y tế, migration production, hoặc bất cứ việc gì đòi hỏi tính đúng đắn đã được xác minh. Cũng nên tránh dùng khi không có artifact cụ thể để đánh giá. Skill cần một nhiệm vụ, một đầu ra và tiêu chí đánh giá; nếu không, nó vẫn tạo được cấu trúc nhưng bằng chứng sẽ yếu.

self-eval có thân thiện với người mới không?

Có, vì đây là prompt-only skill và không có dependency về tooling. Tuy vậy, người mới vẫn nên đọc SKILL.md trước khi dùng, đặc biệt là logic chấm điểm. Độ khó chính không nằm ở cài đặt, mà ở việc cung cấp đủ ngữ cảnh để phần đánh giá không dựa vào cảm tính.

Khác gì so với việc yêu cầu critique?

Một critique có thể liệt kê vấn đề mà không chấm điểm có hiệu chỉnh. self-eval dùng mô hình hai trục và điểm cuối cùng bị khóa theo ma trận, nên agent có ít khoảng trống hơn để biện minh cho bất kỳ mức điểm nào “nghe có vẻ đúng.” Bước phản biện cũng yêu cầu lập luận cho cả điểm cao hơn và thấp hơn trước khi chốt nhận định cuối cùng.

Cách cải thiện self-eval skill

Cung cấp bằng chứng mạnh hơn cho self-eval

Cách tốt nhất để cải thiện kết quả self-eval là làm cho bằng chứng trở nên cụ thể. Hãy đưa vào các file đã thay đổi, test đang fail hoặc pass, những phần thiếu quan trọng và tiêu chí chấp nhận. Nếu không chạy test, hãy nói rõ. Nếu câu trả lời cố ý bỏ qua một yêu cầu, cũng hãy nêu ra.

Đầu vào tốt hơn không có nghĩa là dài hơn; nó có nghĩa là đánh giá được. “Refactored auth code” là yếu. “Refactored auth/session.ts to remove duplicated token parsing; ran npm test -- auth; did not test OAuth callback manually” cho skill thứ gì đó thực tế để chấm.

Theo dõi các lỗi thường gặp

Lỗi phổ biến nhất là để model thưởng cho nỗ lực thay vì kết quả. Một lỗi khác là mặc định xem một nhiệm vụ khó nhưng thực thi dang dở là mạnh. self-eval được thiết kế để chống lại điều đó, nhưng chỉ hiệu quả nếu người dùng cung cấp độ tham vọng ban đầu và deliverable thực tế.

Cũng cần chú ý nhiễu trong lịch sử điểm số. Nếu .self-eval-scores.jsonl trộn nhiều loại nhiệm vụ không liên quan, tín hiệu clustering có thể kém ý nghĩa hơn. Một lượt chỉnh sửa tài liệu và một migration phức tạp không nên được hiểu là tương đương chỉ vì chúng có cùng điểm số.

Chuyển từ điểm số thành hành động

Đừng dừng lại ở điểm cuối cùng. Đầu ra hữu ích nằm ở khoảng cách giữa độ tham vọng và chất lượng thực thi. Hãy biến khoảng cách đó thành một prompt sửa chữa:

Based on the self-eval weaknesses, revise the work to address the top three execution gaps. Do not expand scope. Preserve the original constraints and report what changed.

Cách này giữ cho vòng lặp tiếp theo tập trung. Nó cũng ngăn agent “cải thiện” công việc bằng cách thêm tính năng không liên quan chỉ để theo đuổi điểm số cao hơn.

Tùy chỉnh một cách thận trọng

Nếu bạn điều chỉnh self-eval skill, hãy giữ lại những phần tạo ra khả năng hiệu chỉnh: các trục tách biệt, lập luận phản biện, ánh xạ điểm cố định và nhận biết lịch sử điểm số. Việc tùy chỉnh nhãn, định dạng đầu ra hoặc tiêu chí chấp nhận riêng của nhóm thường là an toàn. Gỡ bỏ các ràng buộc buộc model phải tự phản biện sẽ khiến skill hoạt động giống một prompt review thông thường hơn.