eval

Tổng quan về eval skill

eval làm gì trong các phiên AgentHub

eval là một AgentHub skill dùng để xếp hạng kết quả đã hoàn tất của các agent. Skill này được thiết kế cho lệnh /hub:eval, trong bối cảnh nhiều agent đã cùng xử lý một nhiệm vụ và bạn cần chấm điểm, so sánh hoặc chọn ra phương án thắng. eval skill hỗ trợ đánh giá dựa trên metric khi đã cấu hình lệnh eval, đánh giá bằng LLM judge khi không có metric phù hợp, và cách ra quyết định lai khi cần cân nhắc cả điểm số khách quan lẫn nhận định về code.

Người dùng và công việc phù hợp nhất

eval skill phù hợp nhất với lập trình viên đang dùng quy trình multi-agent kiểu AgentHub: một nhiệm vụ, nhiều nhánh agent hoặc worktree, rồi đến bước so sánh cuối cùng. Skill này hữu ích khi bạn muốn có câu trả lời lặp lại được cho các câu hỏi như “agent nào tạo ra implementation nhanh nhất?”, “patch nào an toàn nhất để merge?”, hoặc “kết quả nào đáp ứng tốt nhất yêu cầu ban đầu?” Nó kém phù hợp hơn nếu dùng như một framework benchmark độc lập, vì skill này giả định có cấu trúc phiên AgentHub, bài đăng kết quả của agent, branch và diff.

Điểm khác biệt giữa eval và một prompt thông thường

Một prompt thông thường có thể yêu cầu LLM so sánh các output, nhưng eval đưa ra một luồng đánh giá cụ thể: chạy lệnh metric cho từng agent khi có sẵn, hoặc kiểm tra diff và result post của từng agent khi dùng judge mode. Khác biệt quan trọng là skill định hướng assistant dựa trên các artifact AgentHub đã hoàn tất, thay vì các nhận định tự do. Điều này giảm phỏng đoán và giúp việc xếp hạng dễ kiểm chứng hơn.

Các điểm chính cần cân nhắc trước khi áp dụng

Trước khi cài đặt hoặc dựa vào eval, hãy xác nhận rằng workflow của bạn lưu kết quả agent ở đúng các vị trí AgentHub kỳ vọng, và các branch hoặc worktree của agent vẫn còn truy cập được. Metric mode cũng phụ thuộc vào một lệnh đánh giá hoạt động được, tên metric, và chiều tối ưu như latency càng thấp càng tốt hoặc score càng cao càng tốt. Đường dẫn repository của skill này chỉ chứa SKILL.md, vì vậy phần lớn hành vi được xác định bởi hướng dẫn của command thay vì các file helper bổ sung trong thư mục skill.

Cách dùng eval skill

Cài đặt eval và kiểm tra repository

Cài đặt từ GitHub skill repository bằng trình cài skill thông thường của bạn, ví dụ:

npx skills add alirezarezvani/claude-skills --skill eval

Sau khi cài đặt, hãy đọc engineering/agenthub/skills/eval/SKILL.md trước. Không có các thư mục cục bộ rules/, resources/, references/, hoặc scripts/ trong thư mục skill này, nên SKILL.md là nguồn thông tin chính xác nhất. Lưu ý rằng nội dung skill có nhắc đến scripts/result_ranker.py cho metric mode; hãy kiểm tra xem thiết lập AgentHub rộng hơn của bạn có cung cấp script đó hoặc một evaluation runner tương đương hay không trước khi phụ thuộc vào xếp hạng dựa trên metric.

Các lệnh sử dụng eval cơ bản

Dùng lệnh sau khi các agent đã hoàn tất một phiên:

/hub:eval
/hub:eval 20260317-143022
/hub:eval --judge

/hub:eval đánh giá phiên mới nhất. Truyền vào session ID để nhắm đến một lần chạy cụ thể. --judge ép dùng LLM judge mode, hữu ích khi lệnh metric của bạn bị thiếu, không đáng tin cậy, hoặc quá hẹp để phản ánh đúng mức độ chính xác.

Các input giúp eval hoạt động tốt

Với metric mode, hãy cung cấp hoặc cấu hình: session ID, eval command, nhãn metric, và chiều tối ưu. Một yêu cầu tốt nên thật cụ thể:

“Run /hub:eval 20260317-143022 using the configured benchmark. Rank by latency_ms, lower is better, and call out any agent whose result fails tests.”

Với LLM judge mode, hãy đảm bảo assistant có thể truy cập base branch, agent branches, git diffs, và các result post như .agenthub/board/results/agent-1-result.md. Một prompt tốt hơn nên nêu rõ mục tiêu nhiệm vụ và thứ tự ưu tiên:

“Use /hub:eval --judge for the latest session. Prioritize correctness first, then minimal risk, then simplicity. Treat changed public APIs as risky unless justified in the result post.”

Quy trình thực tế để có xếp hạng đáng tin cậy

Chỉ chạy eval sau khi tất cả agent đã đăng kết quả và branch của chúng đủ sạch để diff. Bắt đầu với metric mode khi nhiệm vụ có điểm số khách quan như runtime, số lượng test, accuracy, kích thước, hoặc benchmark output. Dùng LLM judge mode cho thiết kế, refactoring, sửa lỗi, hoặc các nhiệm vụ mà metric có thể bị “lách”. Với các merge quan trọng, hãy yêu cầu eval báo cáo không chỉ người thắng mà còn các rủi ro hàng đầu, bằng chứng từ diff, và mọi giả định dùng để phân xử khi kết quả sát nhau.

FAQ về eval skill

eval dùng cho Model Evaluation hay xếp hạng kết quả agent?

eval skill này chủ yếu dành cho việc xếp hạng kết quả agent trong AgentHub, không phải một bộ Model Evaluation đa dụng. Nó có thể đánh giá công việc do model tạo ra, nhưng đơn vị so sánh là kết quả hoàn tất của một agent trong phiên: branch, diff, ghi chú kết quả, và tùy chọn thêm một lệnh metric chạy trong worktree của agent đó.

Khi nào nên dùng metric mode thay vì judge mode?

Dùng metric mode khi thành công có thể được đo nhất quán: test passed, benchmark score, latency, memory, accuracy, bundle size, hoặc một output dạng số khác. Dùng judge mode khi câu hỏi thực sự là liệu patch có đúng, dễ bảo trì và an toàn hay không. Nếu metric chỉ phản ánh một phần mục tiêu, hãy yêu cầu đánh giá lai: xếp hạng theo metric, rồi chỉ ra các lo ngại về correctness hoặc regression từ diff.

Người mới có dùng được eval skill không?

Người mới có thể dùng eval nếu họ đã hiểu khái niệm phiên AgentHub. Bề mặt lệnh khá nhỏ, nhưng chất lượng đánh giá phụ thuộc vào trạng thái repository: branch, worktree, result post, và các eval command đã cấu hình. Nếu thiếu những artifact này, người mới có thể nhận được bảng xếp hạng khó hiểu hoặc không đầy đủ.

Khi nào eval không phải là công cụ phù hợp?

Không nên dùng eval trước khi các agent hoàn tất, khi chỉ có một kết quả, hoặc khi assistant không thể truy cập diff và result file. Skill này cũng không phù hợp cho benchmark model diện rộng, tạo prompt leaderboard, hoặc đánh giá dataset offline, trừ khi bạn điều chỉnh workflow xung quanh. Với những trường hợp đó, một evaluation harness chuyên dụng sẽ phù hợp hơn.

Cách cải thiện eval skill

Cải thiện kết quả eval bằng tiêu chí rõ ràng hơn

Yếu tố cải thiện chất lượng lớn nhất là một chính sách xếp hạng chính xác. Hãy nói cho eval biết điều gì quan trọng nhất: correctness, passing tests, performance, simplicity, security, compatibility, hoặc giảm thiểu code churn. Tránh các yêu cầu mơ hồ như “pick the best.” Nên dùng: “Rank agents by correctness first; if tied, prefer fewer changed files and no new dependencies; mention any untested assumptions.”

Tránh các lỗi eval thường gặp

Các lỗi phổ biến gồm xếp hạng theo metric gây hiểu lầm, bỏ qua edge case đang fail, so sánh branch đã cũ, hoặc đánh giá quá cao một diff nhỏ nhưng không giải quyết nhiệm vụ. Hãy phòng tránh bằng cách xác nhận base branch, session ID, chiều tối ưu của metric, và mục tiêu nhiệm vụ trước khi đánh giá. Với judge mode, hãy yêu cầu bảng xếp hạng có bằng chứng, gắn với các diff và result post cụ thể.

Lặp lại sau bảng xếp hạng đầu tiên

Hãy xem output eval đầu tiên như một bản nháp quyết định. Nếu người thắng gây bất ngờ, hãy yêu cầu đánh giá lại lần hai tập trung vào tiêu chí đang tranh cãi: “Re-evaluate only the top two agents for regression risk,” hoặc “Explain whether agent-2’s faster metric comes from skipping required behavior.” Cách này giữ workflow eval thực tế mà không cần chạy lại toàn bộ phiên agent.

Củng cố skill cho workflow riêng của bạn

Nếu bạn duy trì một thiết lập AgentHub, hãy cải thiện eval bằng cách chuẩn hóa định dạng result post, đặt tên metric nhất quán, và làm cho eval command có tính quyết định. Thêm hướng dẫn riêng cho dự án về điều gì được xem là correctness, test nào bắt buộc phải pass, và rủi ro nào sẽ chặn merge. Skill này khá gọn, nên các quy ước cục bộ quanh session, branch và metric sẽ quyết định mức độ đáng tin của eval trong sử dụng hằng ngày.