eval-harness

Überblick über den eval-harness Skill

Was eval-harness macht

Der eval-harness Skill ist ein formales Bewertungsframework für Claude Code-Sitzungen und eval-getriebene Entwicklung. Er hilft dabei, schon vor dem Release festzulegen, wie „gut“ aussehen soll, und dann zu messen, ob ein Agent, ein Prompt oder ein Workflow diesen Anspruch tatsächlich erfüllt.

Wer ihn verwenden sollte

Nutze den eval-harness Skill, wenn du wiederholbare Prüfungen für KI-gestütztes Coden, Prompt-Änderungen oder Agentenverhalten brauchst. Besonders nützlich ist er für Teams, die Modellversionen vergleichen, Regressionen nachverfolgen oder vage Aufgabendefinitionen in klare Bestehen/Nichtbestehen-Kriterien übersetzen wollen.

Warum er wichtig ist

Der zentrale Nutzen von eval-harness for Model Evaluation ist Zuverlässigkeit: Statt Ergebnisse nach Gefühl zu bewerten, schreibst du Evals, die sichtbar machen, wenn sich Verhalten verändert. So lassen sich Agentenleistungen leichter debuggen, Durchläufe vergleichen und Prompt-Updates vermeiden, die unbemerkt Qualität verschlechtern.

Wann er gut passt

Am besten passt er, wenn sich die Aufgabe in beobachtbare Erfolgskriterien, eine klare Ausgabestruktur oder überprüfbare Meilensteine übersetzen lässt. Für offen kreative Arbeit ist er weniger hilfreich, außer du kannst trotzdem messbare Akzeptanzbedingungen definieren.

So nutzt du den eval-harness Skill

Installieren und aktivieren

Für eval-harness install nutzt du den Skill-Installationsablauf aus dem Repo in deiner Claude-Code-Umgebung und öffnest dann direkt die Skill-Datei. Der Skill liegt unter skills/eval-harness/SKILL.md, und das ist die erste Datei, die du lesen solltest, weil dort definiert ist, wann das Framework aktiviert wird und wie Evals aufgebaut werden.

Einen Prompt bauen, den der Skill bewerten kann

Für eine starke eval-harness usage solltest du nicht mit „Teste meinen Agenten“ starten. Beginne stattdessen mit einem konkreten Ziel, zum Beispiel: Welche Aufgabe der Agent erledigen muss, was als Erfolg gilt, wie ein Fehler aussieht und ob du eine Fähigkeit oder eine Regression prüfst. Ein besseres Beispiel wäre: „Prüfe, ob der Agent ein React-Formular aktualisieren kann, ohne die Validierung zu brechen, und verlange drei explizite Erfolgskriterien.“ Damit hat das Harness etwas Messbares.

Erst die richtigen Dateien lesen

Wenn du den eval-harness guide-Ansatz in deinen eigenen Workflow übernimmst, lies zuerst SKILL.md und prüfe dann alle Repository-Hinweise zu Evaluationsstil, Bewertungslogik oder Ausgabe-Konventionen. In diesem Repo gibt es keine Hilfsskripte oder zusätzlichen Support-Ordner, daher ist die Skill-Datei selbst die maßgebliche Quelle.

Praktisch im Workflow einsetzen

Ein guter Workflow ist: Verhalten definieren, ein Eval für den Happy Path schreiben, ein Regressionseval für einen bekannten Fehler ergänzen und dann das Harness ausführen, um die Kriterien nachzuschärfen. So bleiben Evals klein genug zum Debuggen und das Risiko sinkt, Tests zu schreiben, die so breit sind, dass sie kaum noch interpretierbar sind.

FAQ zum eval-harness Skill

Ist eval-harness nur für Claude Code?

Nein. Der Skill ist zwar auf Claude-Code-Sitzungen zugeschnitten, aber die zugrunde liegende Methode ist überall nützlich, wo du Agenten strukturiert bewerten willst. Wenn dein Stack andere Tools verwendet, kannst du das Eval-Format und die Bewertungslogik trotzdem anpassen.

Ist eval-harness dasselbe wie ein normaler Prompt?

Nein. Ein normaler Prompt fragt nach einer Antwort; eval-harness fragt nach einer wiederholbaren Methode, Antworten zu bewerten. Dieser Unterschied ist wichtig, wenn du Konsistenz über mehrere Versionen brauchst und nicht nur eine einzelne gute Antwort.

Ist es anfängerfreundlich?

Ja, wenn du eine Aufgabe klar beschreiben kannst. Der schwierigere Teil ist nicht die Syntax, sondern das Schreiben guter Erfolgskriterien. Einsteiger kommen meist gut zurecht, wenn sie mit einem einfachen Capability-Eval starten, statt gleich einen ganzen Workflow auf einmal zu modellieren.

Wann sollte ich es nicht verwenden?

Lass eval-harness weg, wenn die Arbeit stark subjektiv ist, wenn sich die Ausgabe nicht konsistent prüfen lässt oder wenn du nur eine einmalige Antwort brauchst. Am stärksten ist es, wenn Zuverlässigkeit, Regressionstracking oder Modellvergleich das eigentliche Ziel sind.

So verbesserst du den eval-harness Skill

Kriterien beobachtbar machen

Der größte Qualitätsgewinn entsteht, wenn du Meinungen in überprüfbare Checks übersetzt. Ersetze „mach es besser“ durch Bedingungen wie „bestehende API-Struktur beibehalten“, „gültiges JSON zurückgeben“ oder „alle drei Regression Cases bestehen“. Je beobachtbarer die Kriterien sind, desto leichter lässt sich eval-harness ausführen und vertrauen.

Fähigkeit und Regression trennen

Wenn du Prüfungen für neue Features mit Checks für altes Verhalten vermischst, werden Fehler schwer zu interpretieren. Halte Capability-Evals darauf fokussiert, ob Claude etwas Neues kann, und Regression-Evals darauf, ob eine bekannte Basis weiterhin stimmt.

Dem Harness echte Grenzfälle geben

Stärkere Evals enthalten Fehlerszenarien und nicht nur Happy Paths. Ergänze schwierige Eingaben, unvollständigen Kontext oder mehrdeutige Anweisungen, damit der eval-harness skill zeigt, ob der Agent robust ist oder nur bei sauberen Beispielen zufällig gut abschneidet.

Nach dem ersten Lauf iterieren

Behandle den ersten Durchlauf als Kalibrierung, nicht als Beweis. Wenn das Ergebnis unklar ist, ziehe die Erfolgskriterien enger, füge eine Baseline hinzu oder teile ein breites Eval in kleinere Prüfungen auf. Das ist meist der schnellste Weg, eval-harness usage zu verbessern und Ergebnisse zu bekommen, mit denen du tatsächlich weiterarbeiten kannst.