create-skill-test

Aperçu de la compétence create-skill-test

create-skill-test est un assistant de structuration et de validation pour créer des fichiers de test eval.yaml destinés aux agents dans le dépôt dotnet/skills. Il s’adresse aux personnes qui ont besoin d’un point de départ fiable pour tester une compétence, pas à celles qui veulent simplement une consigne générique du type « rédige un test ». Sa fonction principale est de transformer une compétence cible, un nom de plugin et une idée de scénario en une structure de test conforme aux conventions, avec des fixtures, des assertions et des rubriques moins susceptibles de surajuster le résultat.

La compétence create-skill-test convient surtout aux auteurs qui savent déjà quelle compétence ils veulent évaluer et qui ont besoin d’un moyen rapide de produire un fichier de test respectant les règles du dépôt. Elle est moins utile si votre objectif est seulement d’exécuter des tests, de déboguer des échecs du validateur ou de rédiger des instructions de compétence à partir de zéro.

À quoi sert create-skill-test

Utilisez la compétence create-skill-test lorsque vous créez un nouveau fichier d’évaluation, que vous enrichissez un fichier existant avec d’autres scénarios ou que vous vérifiez si votre rubrique est trop spécifique à une seule sortie exacte. Elle est particulièrement utile dans les workflows create-skill-test for Skill Testing, où la qualité de la conception du test compte autant que la forme du YAML.

Ce qu’elle permet d’éviter

Sa principale valeur est d’éviter les évaluations fragiles : champs obligatoires manquants, chemins de compétence incohérents, mauvaise organisation des fixtures et formulation de la rubrique qui récompense par erreur une tournure plutôt qu’un vrai comportement. C’est important si vous voulez des tests qui restent utiles au fil de l’évolution de la compétence cible.

Ce qu’elle ne remplace pas

Elle ne remplace pas le validateur de compétence et ne sert pas à modifier des fichiers SKILL.md. Si votre but est de diagnostiquer une exécution de test cassée ou de déboguer la sortie du validateur, ce n’est pas le bon outil.

Comment utiliser la compétence create-skill-test

Installer et ouvrir la compétence source

Installez create-skill-test avec npx skills add dotnet/skills --skill create-skill-test. Puis lisez d’abord SKILL.md, car il contient le workflow, les entrées requises et les limites qui déterminent si votre demande est valide avant même de demander au modèle de générer quoi que ce soit.

Donner à la compétence le bon brief de test

Une bonne demande create-skill-test install ne se résume pas à « fais un test ». Indiquez le nom de la compétence, le nom du plugin, le comportement à vérifier et les contraintes du scénario. La compétence attend des entrées telles que la compétence cible dans plugins/<plugin>/skills/, donc la précision des noms est essentielle.

Un meilleur brief ressemble à ceci :

• Skill: foo-bar
• Plugin: dotnet-msbuild
• Goal: verify that the agent creates a valid summary and rejects unsupported paths
• Scenario: first-time user with partial context
• Fixture need: one minimal input file and one edge-case file

Cela donne au flux create-skill-test usage suffisamment de structure pour construire une évaluation utile plutôt qu’une évaluation générique.

Lire les sections du dépôt qui comptent

Commencez par SKILL.md, puis examinez, s’ils existent, les fichiers README.md, AGENTS.md, metadata.json et les dossiers voisins rules/, resources/, references/ ou scripts/. Dans cet instantané du dépôt, seul SKILL.md est exposé ; la définition de la compétence est donc la principale source de vérité.

Itérer sur les scénarios et les rubriques

Servez-vous de la première version pour vérifier si le test mesure réellement le comportement recherché. Si la rubrique récompense la formulation plutôt que le résultat, resserrez-la. Si le scénario est trop large, découpez-le. Si la compétence n’a besoin que d’un seul chemin nominal, gardez l’évaluation légère au lieu d’inventer des cas supplémentaires.

FAQ sur la compétence create-skill-test

create-skill-test est-elle réservée à dotnet/skills ?

Oui, elle est conçue autour des conventions du dépôt dotnet/skills et de l’organisation plugins/<plugin>/skills/. Vous pouvez adapter l’idée ailleurs, mais le guide create-skill-test est surtout utile lorsque votre dépôt suit la même structure et les mêmes attentes de validation.

Dois-je l’utiliser à la place d’une requête classique ?

Utilisez create-skill-test lorsque vous voulez une structure d’évaluation reproductible, avec moins d’erreurs de forme. Une requête classique peut décrire un test, mais elle sera généralement moins solide sur les conventions propres au dépôt, le placement des fixtures et les vérifications de surajustement.

Est-ce adapté aux débutants ?

Oui, si vous pouvez identifier la compétence cible et décrire le scénario en termes simples. En revanche, ce ne l’est pas si vous ne pouvez pas nommer le plugin, le chemin de la compétence ou le comportement testé, car ce sont ces informations qui guident la sortie générée.

Quand ne faut-il pas l’utiliser ?

N’utilisez pas create-skill-test pour exécuter des tests, déboguer des erreurs du validateur ou écrire une nouvelle compétence. Ce sont des workflows voisins, mais avec des outils et des critères de réussite différents.

Comment améliorer la compétence create-skill-test

Donner des entrées plus ciblées

Les meilleurs résultats de create-skill-test viennent de scénarios précis, pas d’intentions vagues. « Tester que la compétence gère un contexte manquant et renvoie un repli sûr » est plus fort que « créer une évaluation complète », parce que cela indique clairement quel comportement compte et ce qu’il ne faut pas survaloriser.

Demander de la qualité de rubrique, pas seulement du YAML

Si vous ne demandez que la structure, vous pouvez obtenir un fichier techniquement valide mais toujours surajusté. Dites ce qui doit compter comme réussite, ce qui doit échouer et quels détails ne sont que secondaires. C’est le moyen le plus rapide d’améliorer les résultats de create-skill-test for Skill Testing.

Vérifier le surajustement après génération

Vérifiez si les assertions récompensent une formulation unique, un ordre fixe ou une chaîne d’exemple exacte, sauf si ce niveau de précision est réellement nécessaire. Une bonne évaluation mesure le comportement que la compétence doit préserver, pas la formulation exacte produite lors d’une seule exécution.

Affiner à partir des retours du validateur

Si la première sortie échoue à la validation, renvoyez l’erreur exacte avec l’extrait YAML concerné. Cela produit généralement une meilleure deuxième tentative que le simple fait de reformuler toute la demande.