eval

Überblick über den eval skill

Was eval in AgentHub-Sessions leistet

eval ist ein AgentHub skill zum Ranking abgeschlossener Agentenergebnisse. Er ist für den Befehl /hub:eval gedacht, wenn mehrere Agents bereits an derselben Aufgabe gearbeitet haben und du die Ergebnisse bewerten, vergleichen oder einen Gewinner auswählen musst. Der eval skill unterstützt metrikbasierte Auswertungen, wenn ein eval-Befehl konfiguriert ist, LLM-Judge-Bewertungen, wenn keine Metrik verfügbar ist, und einen hybriden Entscheidungsstil, wenn sowohl objektive Scores als auch Code-Beurteilung wichtig sind.

Für wen und welche Aufgaben eval am besten passt

Der eval skill eignet sich besonders für Entwickler, die mit einem AgentHub-ähnlichen Multi-Agent-Workflow arbeiten: eine Aufgabe, mehrere Agent-Branches oder Worktrees und anschließend ein finaler Vergleich. Er hilft, wenn du eine wiederholbare Antwort auf Fragen brauchst wie „Welcher Agent hat die schnellste Implementierung geliefert?“, „Welcher Patch lässt sich am sichersten mergen?“ oder „Welches Ergebnis erfüllt die ursprüngliche Aufgabe am besten?“ Als eigenständiges Benchmarking-Framework ist er weniger geeignet, weil er die AgentHub-Session-Struktur, Agent-Result-Posts, Branches und Diffs voraussetzt.

Was eval von einem generischen Prompt unterscheidet

Ein generischer Prompt kann ein LLM bitten, Ergebnisse zu vergleichen. eval liefert dagegen einen konkreten Bewertungsablauf: Wenn verfügbar, wird pro Agent ein Metrikbefehl ausgeführt; im Judge-Modus werden stattdessen die Diffs und Result-Posts der einzelnen Agents geprüft. Der entscheidende Unterschied ist, dass der Skill den Assistant auf abgeschlossene AgentHub-Artefakte ausrichtet, statt freie Einschätzungen abzugeben. Das reduziert Spekulation und macht das Ranking leichter nachvollziehbar.

Wichtige Punkte vor der Einführung

Bevor du eval installierst oder dich darauf verlässt, prüfe, ob dein Workflow Agentenergebnisse an den erwarteten AgentHub-Orten speichert und ob Agent-Branches oder Worktrees noch verfügbar sind. Der Metrikmodus hängt außerdem von einem funktionierenden Evaluierungsbefehl, einem Metriknamen und einer Richtung ab, etwa lower-is-better für Latenz oder higher-is-better für einen Score. Der Repository-Pfad für diesen Skill enthält nur SKILL.md; das meiste Verhalten wird also durch die Befehlsanweisungen definiert und nicht durch zusätzliche Hilfsdateien im Skill-Verzeichnis.

So verwendest du den eval skill

eval installieren und Repository prüfen

Installiere den Skill aus dem GitHub-Skill-Repository mit deinem üblichen Skill-Installer, zum Beispiel:

npx skills add alirezarezvani/claude-skills --skill eval

Lies nach der Installation zuerst engineering/agenthub/skills/eval/SKILL.md. In diesem Skill-Verzeichnis gibt es keine lokalen Ordner rules/, resources/, references/ oder scripts/; SKILL.md ist daher die maßgebliche Quelle. Beachte, dass der Skill-Text für den Metrikmodus auf scripts/result_ranker.py verweist. Prüfe, ob dein breiteres AgentHub-Setup dieses Script oder einen gleichwertigen Evaluation Runner bereitstellt, bevor du dich auf metrikbasiertes Ranking verlässt.

Grundlegende Befehle für eval

Verwende den Befehl, nachdem die Agents eine Session abgeschlossen haben:

/hub:eval
/hub:eval 20260317-143022
/hub:eval --judge

/hub:eval bewertet die neueste Session. Mit einer Session-ID zielst du auf einen bestimmten Lauf. --judge erzwingt den LLM-Judge-Modus. Das ist nützlich, wenn dein Metrikbefehl fehlt, unzuverlässig ist oder Korrektheit zu eng abbildet.

Eingaben, mit denen eval gut funktioniert

Für den Metrikmodus solltest du Folgendes bereitstellen oder konfigurieren: Session-ID, eval-Befehl, Metriklabel und Richtung. Eine gute Anfrage ist konkret:

„Run /hub:eval 20260317-143022 using the configured benchmark. Rank by latency_ms, lower is better, and call out any agent whose result fails tests.“

Für den LLM-Judge-Modus muss der Assistant auf den Base-Branch, Agent-Branches, Git-Diffs und Result-Posts wie .agenthub/board/results/agent-1-result.md zugreifen können. Ein stärkerer Prompt enthält das Ziel der Aufgabe und die Prioritätenreihenfolge:

„Use /hub:eval --judge for the latest session. Prioritize correctness first, then minimal risk, then simplicity. Treat changed public APIs as risky unless justified in the result post.“

Praktischer Workflow für verlässliche Rankings

Führe eval erst aus, wenn alle Agents ihre Ergebnisse gepostet haben und ihre Branches sauber genug sind, um Diffs zu erstellen. Beginne mit dem Metrikmodus, wenn die Aufgabe einen objektiven Score hat, etwa Laufzeit, Anzahl bestandener Tests, Genauigkeit, Größe oder Benchmark-Ausgabe. Nutze den LLM-Judge-Modus für Design, Refactoring, Bugfixes oder Aufgaben, bei denen eine Metrik ausgetrickst werden kann. Bei wichtigen Merges solltest du eval nicht nur nach dem Gewinner fragen, sondern auch nach den größten Risiken, Belegen aus den Diffs und allen Annahmen für das Tie-Breaking.

FAQ zum eval skill

Ist eval für Model Evaluation oder für das Ranking von Agentenergebnissen gedacht?

Dieser eval skill ist in erster Linie für das Ranking von AgentHub-Agentenergebnissen gedacht, nicht als allgemeine Model-Evaluation-Suite. Er kann von Modellen erzeugte Arbeit bewerten, aber die Vergleichseinheit ist das abgeschlossene Session-Ergebnis eines Agents: sein Branch, sein Diff, seine Ergebnisnotiz und optional ein Metrikbefehl, der in seinem Worktree ausgeführt wird.

Wann sollte ich den Metrikmodus statt des Judge-Modus verwenden?

Nutze den Metrikmodus, wenn Erfolg konsistent messbar ist: bestandene Tests, Benchmark-Score, Latenz, Speicherverbrauch, Genauigkeit, Bundle-Größe oder eine andere numerische Ausgabe. Nutze den Judge-Modus, wenn die eigentliche Frage lautet, ob der Patch korrekt, wartbar und sicher ist. Wenn die Metrik nur einen Teil des Ziels abdeckt, bitte um eine hybride Bewertung: Ranking nach Metrik, anschließend Hinweise auf Korrektheits- oder Regressionsrisiken aus den Diffs.

Können Einsteiger den eval skill verwenden?

Einsteiger können eval verwenden, wenn sie das AgentHub-Session-Konzept bereits verstehen. Die Befehlsoberfläche ist klein, aber die Qualität der Bewertung hängt vom Repository-Zustand ab: Branches, Worktrees, Result-Posts und konfigurierte eval-Befehle. Wenn diese Artefakte fehlen, können Rankings für Einsteiger verwirrend oder unvollständig wirken.

Wann ist eval das falsche Werkzeug?

Verwende eval nicht, bevor die Agents fertig sind, wenn es nur ein Ergebnis gibt oder wenn der Assistant nicht auf Diffs und Ergebnisdateien zugreifen kann. Ebenfalls schlecht geeignet ist eval für breit angelegtes Model Benchmarking, Prompt-Leaderboards oder Offline-Dataset-Evaluation, sofern du nicht den umgebenden Workflow entsprechend anpasst. Für solche Fälle ist ein dediziertes Evaluation Harness passender.

So verbesserst du den eval skill

eval-Ergebnisse mit klareren Kriterien verbessern

Den größten Qualitätssprung bringt eine präzise Ranking-Policy. Sag eval, was am wichtigsten ist: Korrektheit, bestandene Tests, Performance, Einfachheit, Sicherheit, Kompatibilität oder möglichst wenig Code-Änderung. Vermeide vage Anfragen wie „pick the best“. Besser ist: „Rank agents by correctness first; if tied, prefer fewer changed files and no new dependencies; mention any untested assumptions.“

Häufige eval-Fehler vermeiden

Typische Fehler sind Rankings nach einer irreführenden Metrik, das Übersehen eines fehlschlagenden Edge Case, der Vergleich veralteter Branches oder eine Überbewertung kleinerer Diffs, die die Aufgabe nicht lösen. Verhindere das, indem du vor der Bewertung Base-Branch, Session-ID, Metrikrichtung und Aufgabenobjective bestätigst. Bitte im Judge-Modus um Rankings, die mit konkreten Diffs und Result-Posts belegt sind.

Nach dem ersten Ranking iterieren

Betrachte die erste eval-Ausgabe als Entscheidungsentwurf. Wenn der Gewinner überrascht, bitte um einen zweiten Durchlauf mit Fokus auf das strittige Kriterium: „Re-evaluate only the top two agents for regression risk“ oder „Explain whether agent-2’s faster metric comes from skipping required behavior.“ So bleibt der eval-Workflow praktisch, ohne die gesamte Agent-Session erneut auszuführen.

Den Skill für deinen eigenen Workflow stärken

Wenn du ein AgentHub-Setup betreust, verbesserst du eval, indem du das Format der Result-Posts standardisierst, Metriken einheitlich benennst und den eval-Befehl deterministisch machst. Ergänze projektspezifische Hinweise dazu, was als korrekt gilt, welche Tests bestehen müssen und welche Risiken einen Merge blockieren. Der Skill ist kompakt; deshalb bestimmen lokale Konventionen rund um Sessions, Branches und Metriken maßgeblich, wie vertrauenswürdig sich eval im Alltag anfühlt.