eval

Présentation du skill eval

Ce que fait eval dans les sessions AgentHub

eval est un skill AgentHub qui sert à classer les résultats produits par des agents une fois leur travail terminé. Il est conçu pour la commande /hub:eval, dans les cas où plusieurs agents ont travaillé sur la même tâche et où vous devez noter, comparer ou désigner le meilleur résultat. Le skill eval prend en charge l’évaluation par métriques lorsqu’une commande d’évaluation est configurée, l’évaluation par juge LLM lorsqu’aucune métrique n’est disponible, ainsi qu’une approche hybride lorsque les scores objectifs et l’analyse du code comptent tous les deux.

Utilisateurs et cas d’usage les mieux adaptés

Le skill eval convient surtout aux développeurs qui utilisent un workflow multi-agent de type AgentHub : une tâche, plusieurs branches ou worktrees d’agents, puis une étape finale de comparaison. Il est utile lorsque vous voulez une réponse reproductible à des questions comme « quel agent a produit l’implémentation la plus rapide ? », « quel patch est le plus sûr à merger ? » ou « quel résultat répond le mieux à la tâche initiale ? ». Il est moins pertinent comme framework de benchmark autonome, car il suppose une structure de session AgentHub, avec des publications de résultats d’agents, des branches et des diffs.

Ce qui distingue eval d’un prompt générique

Un prompt générique peut demander à un LLM de comparer des sorties, mais eval fournit un parcours d’évaluation concret : exécuter une commande de métrique pour chaque agent lorsqu’elle existe, ou inspecter le diff et la publication de résultat de chaque agent en mode juge. La vraie différence est que le skill oriente l’assistant vers des artefacts AgentHub déjà produits, plutôt que vers des avis libres. Cela réduit les suppositions et rend le classement plus facile à auditer.

Principaux points à vérifier avant adoption

Avant d’installer ou d’utiliser eval, vérifiez que votre workflow enregistre les résultats d’agents aux emplacements AgentHub attendus et que les branches ou worktrees des agents sont toujours disponibles. Le mode métrique dépend aussi d’une commande d’évaluation fonctionnelle, d’un nom de métrique et d’un sens d’optimisation, par exemple une latence où plus bas est meilleur, ou un score où plus haut est meilleur. Le chemin de dépôt de ce skill ne contient que SKILL.md ; l’essentiel du comportement est donc défini par les instructions de commande, et non par des fichiers d’aide supplémentaires dans le répertoire du skill.

Comment utiliser le skill eval

Installation de eval et vérification du dépôt

Installez-le depuis le dépôt GitHub de skills avec votre installateur de skills habituel, par exemple :

npx skills add alirezarezvani/claude-skills --skill eval

Après l’installation, commencez par lire engineering/agenthub/skills/eval/SKILL.md. Ce répertoire de skill ne contient pas de dossiers locaux rules/, resources/, references/ ni scripts/ : SKILL.md est donc la source de vérité. Notez que le texte du skill mentionne scripts/result_ranker.py pour le mode métrique ; avant de dépendre d’un classement basé sur les métriques, vérifiez que votre configuration AgentHub plus large fournit bien ce script, ou un runner d’évaluation équivalent.

Commandes de base pour utiliser eval

Utilisez la commande une fois que les agents ont terminé une session :

/hub:eval
/hub:eval 20260317-143022
/hub:eval --judge

/hub:eval évalue la session la plus récente. En passant un ID de session, vous ciblez une exécution précise. --judge force le mode juge LLM, ce qui est utile lorsque votre commande de métrique est absente, peu fiable ou trop limitée pour refléter correctement la validité du résultat.

Entrées qui rendent eval plus fiable

Pour le mode métrique, fournissez ou configurez : l’ID de session, la commande d’évaluation, le libellé de la métrique et son sens d’optimisation. Une bonne demande est précise :

« Run /hub:eval 20260317-143022 using the configured benchmark. Rank by latency_ms, lower is better, and call out any agent whose result fails tests. »

Pour le mode juge LLM, assurez-vous que l’assistant peut accéder à la branche de base, aux branches des agents, aux diffs git et aux publications de résultats, par exemple .agenthub/board/results/agent-1-result.md. Un prompt plus robuste inclut l’objectif de la tâche et l’ordre des priorités :

« Use /hub:eval --judge for the latest session. Prioritize correctness first, then minimal risk, then simplicity. Treat changed public APIs as risky unless justified in the result post. »

Workflow pratique pour obtenir des classements fiables avec eval

Lancez eval uniquement après que tous les agents ont publié leurs résultats et que leurs branches sont suffisamment propres pour produire des diffs exploitables. Commencez par le mode métrique lorsque la tâche possède un score objectif, comme le temps d’exécution, le nombre de tests, la précision, la taille ou une sortie de benchmark. Utilisez le mode juge LLM pour les choix de conception, les refactorings, les corrections de bugs ou les tâches où une métrique peut être optimisée au détriment du vrai objectif. Pour les merges importants, demandez à eval de fournir non seulement le gagnant, mais aussi les principaux risques, les preuves tirées des diffs et les hypothèses utilisées pour départager des résultats proches.

FAQ du skill eval

eval sert-il à la Model Evaluation ou au classement de résultats d’agents ?

Ce skill eval sert avant tout à classer des résultats d’agents AgentHub, et non à fournir une suite générale de Model Evaluation. Il peut évaluer du travail généré par des modèles, mais l’unité de comparaison est le résultat final d’une session d’agent : sa branche, son diff, sa note de résultat et, éventuellement, une commande de métrique exécutée dans son worktree.

Quand utiliser le mode métrique plutôt que le mode juge ?

Utilisez le mode métrique lorsque la réussite peut être mesurée de façon cohérente : tests réussis, score de benchmark, latence, mémoire, précision, taille de bundle ou autre sortie numérique. Utilisez le mode juge lorsque la vraie question est de savoir si le patch est correct, maintenable et sûr. Si la métrique ne couvre qu’une partie de l’objectif, demandez une lecture hybride : classement par métrique, puis signalement des problèmes de correction ou des risques de régression à partir des diffs.

Les débutants peuvent-ils utiliser le skill eval ?

Les débutants peuvent utiliser eval s’ils comprennent déjà le concept de session AgentHub. La surface de commande est réduite, mais la qualité de l’évaluation dépend de l’état du dépôt : branches, worktrees, publications de résultats et commandes d’évaluation configurées. Si ces artefacts manquent, un débutant risque d’obtenir des classements confus ou incomplets.

Quand eval n’est-il pas le bon outil ?

N’utilisez pas eval avant que les agents aient terminé, lorsqu’il n’existe qu’un seul résultat, ou lorsque l’assistant ne peut pas accéder aux diffs et aux fichiers de résultats. Il est aussi mal adapté au benchmark général de modèles, à la création de leaderboards de prompts ou à l’évaluation hors ligne de jeux de données, sauf si vous adaptez le workflow autour de lui. Dans ces cas, un harnais d’évaluation dédié est généralement plus approprié.

Comment améliorer le skill eval

Améliorer les résultats d’eval avec des critères plus clairs

Le plus grand gain de qualité vient d’une politique de classement précise. Dites à eval ce qui compte le plus : correction, tests réussis, performance, simplicité, sécurité, compatibilité ou réduction du volume de changements. Évitez les demandes vagues comme « choisis le meilleur ». Préférez : « Rank agents by correctness first; if tied, prefer fewer changed files and no new dependencies; mention any untested assumptions. »

Éviter les échecs fréquents d’eval

Les échecs courants incluent un classement fondé sur une métrique trompeuse, l’oubli d’un cas limite en échec, la comparaison de branches obsolètes ou la survalorisation d’un diff plus petit qui ne résout pas réellement la tâche. Pour les éviter, confirmez la branche de base, l’ID de session, le sens d’optimisation de la métrique et l’objectif de la tâche avant l’évaluation. En mode juge, demandez des classements étayés par des preuves, reliés à des diffs et à des publications de résultats précis.

Itérer après le premier classement

Considérez la première sortie d’eval comme une version de travail pour la décision. Si le gagnant vous surprend, demandez un deuxième passage centré sur le critère contesté : « Re-evaluate only the top two agents for regression risk », ou « Explain whether agent-2’s faster metric comes from skipping required behavior. » Cela garde le workflow eval pratique sans relancer toute la session d’agents.

Renforcer le skill pour votre propre workflow

Si vous maintenez une configuration AgentHub, améliorez eval en standardisant le format des publications de résultats, en nommant les métriques de façon cohérente et en rendant la commande d’évaluation déterministe. Ajoutez des consignes propres au projet pour définir ce qui compte comme correct, les tests qui doivent réussir et les risques qui bloquent un merge. Le skill est compact : ce sont donc vos conventions locales autour des sessions, des branches et des métriques qui détermineront le niveau de confiance que eval inspire au quotidien.