judge

Vue d’ensemble de judge

Ce que fait judge

Le skill judge lance un workflow d’évaluation en deux phases : un meta-judge définit d’abord la bonne grille de lecture pour la tâche, puis un sous-agent judge note le travail avec un contexte isolé et des éléments de preuve. Il est particulièrement adapté aux utilisateurs qui ont besoin d’une revue rigoureuse de code, d’analyse, d’écriture ou de sorties d’agent, plutôt que d’un simple avis à la volée.

Qui devrait utiliser judge

Utilisez le skill judge lorsque vous voulez une évaluation en mode rapport, avec des critères explicites, des citations et des recommandations concrètes. Il convient très bien aux revues de Skill Authoring, à la revue de changements dans un repo, et à toute situation où le biais de confirmation ou l’héritage de session pourrait fausser le jugement.

En quoi judge est différent

Contrairement à une invite générique qui demande des « retours », judge construit les critères d’évaluation avant de commencer la notation. Le skill judge est donc plus pertinent quand le type d’artefact n’est pas encore parfaitement clair, quand vous avez besoin d’une notation multidimensionnelle, ou quand la revue doit pouvoir être défendue devant une autre personne.

Comment utiliser le skill judge

Installer judge et examiner le fichier d’entrée

Installez avec npx skills add NeoLabHQ/context-engineering-kit --skill judge. Commencez par plugins/sadd/skills/judge/SKILL.md, car ce fichier contient le workflow, les entrées et les contraintes d’évaluation qui définissent le comportement d’installation de judge.

Donner à judge une cible d’évaluation précise

Le skill fonctionne mieux quand vous nommez le travail et l’angle d’analyse. Une bonne invite ressemble à : Judge the last draft of the launch page for clarity, SEO fit, and factual accuracy. Une invite faible comme Review this laisse trop de place à l’approximation pour le meta-judge.

Fournir le bon contexte pour le pipeline de judge

Incluez l’artefact à évaluer, les critères de réussite et toutes les contraintes fortes, comme le ton, le public, les priorités de la grille ou les changements interdits. Si vous utilisez judge pour du Skill Authoring, dites-le explicitement et nommez le skill cible, car la grille doit changer pour tenir compte de la clarté d’installation, de la découvrabilité et de la qualité des consignes.

Lire ces fichiers en premier

Pour l’installation et l’adaptation, lisez d’abord SKILL.md, puis tous les fichiers de workflow ou de politique présents dans le repo. Dans ce dépôt, le corps du skill est la principale source de vérité ; le chemin le plus rapide consiste donc à examiner la structure de l’invite, les phases du workflow et les exigences en matière de preuves avant de reproduire le modèle dans votre propre système.

FAQ du skill judge

judge sert-il uniquement à la revue de code ?

Non. Le skill judge est conçu pour évaluer n’importe quel travail produit qui gagne à être examiné à l’aide d’une grille : prompts, documentation, analyse, sorties d’agent ou décisions de conception. La condition essentielle est que le résultat puisse être jugé à partir de critères explicites et de preuves.

Quand ne faut-il pas utiliser judge ?

N’utilisez pas judge si vous voulez seulement une réaction subjective rapide, s’il n’existe pas encore d’artefact terminé, ou si la tâche ne peut pas être évaluée à partir de preuves. Dans ces cas-là, une invite plus simple est généralement plus rapide et moins fragile.

judge convient-il aux débutants ?

Oui, si l’utilisateur peut nommer l’artefact et les critères de réussite. Les débutants peinent surtout lorsqu’ils demandent un jugement sans contexte. Le skill réduit ce problème en imposant une étape de meta-judge, mais il a quand même besoin d’une cible claire.

En quoi judge est-il différent d’une invite normale ?

Une invite normale demande souvent à un seul modèle d’inventer les critères et d’évaluer le résultat dans un seul passage. Le skill judge sépare ces rôles, ce qui améliore généralement la cohérence, réduit les biais et rend le rapport final plus digne de confiance.

Comment améliorer le skill judge

Rendre la cible d’évaluation explicite

Les meilleures entrées pour judge nomment l’artefact exact, le public visé et la décision que vous cherchez à appuyer. Par exemple : Evaluate the new onboarding doc for first-time contributors, with emphasis on setup clarity and missing prerequisites. C’est mieux que Check my doc, car la grille peut alors refléter un vrai risque utilisateur.

Ajouter les contraintes qui influencent la grille

Si vous tenez à des preuves ligne par ligne, à des exigences de citation ou à une échelle de notation précise, indiquez-le dès le départ. judge donne de meilleurs résultats lorsqu’il sait s’il doit privilégier l’exactitude, l’exhaustivité, la clarté UX ou la conformité aux règles, plutôt que de les moyenner implicitement.

Itérer après le premier rapport

Servez-vous du premier rapport judge pour affiner l’invite suivante : ajoutez le contexte manquant, clarifiez les arbitrages et nommez toute section qui vous a semblé sous-notée. Pour le Skill Authoring, l’itération la plus utile consiste souvent à demander à judge de réévaluer séparément la clarté de l’installation, la réalisme de l’usage et les cas limites.

Surveiller les modes d’échec fréquents

judge peut moins bien fonctionner quand le travail source est flou, quand l’artefact est incomplet ou quand la focalisation de l’évaluation cumule trop d’objectifs. Si cela arrive, découpez la tâche en passes plus étroites et donnez à judge uniquement les éléments nécessaires à la décision en cours.