eval ranqueia resultados concluídos de agents do AgentHub usando métricas configuradas, revisão por juiz LLM ou uma abordagem híbrida. Use com /hub:eval para comparar branches de sessão, diffs e posts de resultado antes de escolher um vencedor.
Esta skill recebe 67/100, o que significa que pode ser listada, mas deve ser apresentada como uma ferramenta auxiliar limitada e específica do AgentHub, não como um avaliador totalmente empacotado. Usuários do diretório têm orientação suficiente para acionar `/hub:eval` e fazer ranqueamento baseado em LLM, mas a avaliação por métricas parece ter suporte limitado, pois o script de ranqueamento citado não está presente nos arquivos fornecidos da skill.
- Acionamento claro: o frontmatter define `/hub:eval` e a descrição orienta seu uso para pontuar, comparar ou escolher uma vencedora entre agents concluídos do AgentHub.
- Traz exemplos práticos de uso para a sessão mais recente, um ID de sessão específico e o modo forçado de avaliação por LLM.
- Oferece uma rubrica acionável para julgamento por LLM usando diffs e posts de resultados dos agents, cobrindo correção, simplicidade e qualidade.
- O modo por métricas menciona `scripts/result_ranker.py`, mas as evidências do repositório não mostram scripts nem arquivos de suporte no caminho da skill; portanto, esse fluxo talvez não seja executável diretamente como está descrito.
- A skill é fortemente vinculada a sessões concluídas do AgentHub, branches e convenções de `.agenthub/board/results`, sem comando de instalação nem orientações mais amplas de configuração.
Visão geral do eval skill
O que o eval faz em sessões do AgentHub
eval é um AgentHub skill para classificar resultados concluídos de agentes. Ele foi criado para o comando /hub:eval, usado quando vários agentes já trabalharam na mesma tarefa e você precisa pontuar, comparar ou escolher um vencedor. O skill dá suporte à avaliação baseada em métricas quando um comando de eval está configurado, à avaliação por juiz LLM quando não há métrica disponível e a uma decisão híbrida quando tanto pontuações objetivas quanto julgamento de código importam.
Usuários e casos de uso mais indicados
O eval skill é mais indicado para desenvolvedores que usam um fluxo multiagente no estilo AgentHub: uma tarefa, várias branches ou worktrees de agentes e, depois, uma etapa final de comparação. Ele ajuda quando você quer uma resposta repetível para perguntas como “qual agente produziu a implementação mais rápida?”, “qual patch é mais seguro para merge?” ou “qual resultado atende melhor à tarefa original?”. Ele é menos útil como framework de benchmark independente, porque pressupõe a estrutura de sessões do AgentHub, posts de resultado dos agentes, branches e diffs.
O que diferencia o eval de um prompt genérico
Um prompt genérico pode pedir que um LLM compare saídas, mas eval oferece um caminho de avaliação concreto: executar um comando de métrica por agente quando disponível, ou inspecionar o diff e o post de resultado de cada agente no modo de julgamento. O diferencial importante é que o skill orienta o assistente a trabalhar com artefatos concluídos do AgentHub, em vez de opiniões livres. Isso reduz suposições e torna a classificação mais fácil de auditar.
Principais pontos antes de adotar
Antes de instalar ou depender do eval, confirme se seu fluxo armazena os resultados dos agentes nos locais esperados pelo AgentHub e se as branches ou worktrees dos agentes ainda estão disponíveis. O modo de métricas também depende de um comando de avaliação funcional, de um nome de métrica e de uma direção, como latência menor-é-melhor ou pontuação maior-é-melhor. O caminho do repositório deste skill contém apenas SKILL.md, então a maior parte do comportamento é definida pelas instruções do comando, não por arquivos auxiliares extras dentro do diretório do skill.
Como usar o eval skill
Instalação do eval e checagem do repositório
Instale a partir do repositório de skills no GitHub usando seu instalador de skills habitual, por exemplo:
npx skills add alirezarezvani/claude-skills --skill eval
Depois da instalação, leia primeiro engineering/agenthub/skills/eval/SKILL.md. Não há pastas locais rules/, resources/, references/ ou scripts/ neste diretório de skill, portanto SKILL.md é a fonte da verdade. Observe que o texto do skill menciona scripts/result_ranker.py para o modo de métricas; verifique se sua configuração mais ampla do AgentHub fornece esse script, ou um executor de avaliação equivalente, antes de depender de classificações baseadas em métricas.
Comandos básicos de uso do eval
Use o comando depois que os agentes tiverem concluído uma sessão:
/hub:eval
/hub:eval 20260317-143022
/hub:eval --judge
/hub:eval avalia a sessão mais recente. Ao passar um ID de sessão, você aponta para uma execução específica. --judge força o modo de juiz LLM, útil quando o comando de métrica está ausente, não é confiável ou é limitado demais para capturar corretude.
Entradas que ajudam o eval a funcionar bem
Para o modo de métricas, forneça ou configure: ID da sessão, comando de eval, rótulo da métrica e direção. Uma solicitação forte é específica:
“Run /hub:eval 20260317-143022 using the configured benchmark. Rank by latency_ms, lower is better, and call out any agent whose result fails tests.”
Para o modo de juiz LLM, garanta que o assistente consiga acessar a branch base, as branches dos agentes, os diffs do git e posts de resultado como .agenthub/board/results/agent-1-result.md. Um prompt mais forte inclui o objetivo da tarefa e a ordem de prioridade:
“Use /hub:eval --judge for the latest session. Prioritize correctness first, then minimal risk, then simplicity. Treat changed public APIs as risky unless justified in the result post.”
Fluxo prático para rankings confiáveis
Execute o eval somente depois que todos os agentes tiverem publicado resultados e suas branches estiverem limpas o suficiente para gerar diff. Comece pelo modo de métricas quando a tarefa tiver uma pontuação objetiva, como tempo de execução, contagem de testes, acurácia, tamanho ou saída de benchmark. Use o modo de juiz LLM para design, refatoração, correções de bugs ou tarefas em que uma métrica possa ser “otimizada” de forma enganosa. Para merges importantes, peça ao eval que informe não só o vencedor, mas também os principais riscos, evidências dos diffs e quaisquer premissas usadas para desempate.
FAQ do eval skill
O eval é para Model Evaluation ou para ranking de resultados de agentes?
Este eval skill é principalmente para ranking de resultados de agentes no AgentHub, não uma suíte genérica de Model Evaluation. Ele pode avaliar trabalho gerado por modelos, mas a unidade de comparação é o resultado concluído da sessão de um agente: sua branch, diff, nota de resultado e, opcionalmente, um comando de métrica executado em sua worktree.
Quando devo usar o modo de métricas em vez do modo de juiz?
Use o modo de métricas quando o sucesso puder ser medido de forma consistente: testes aprovados, pontuação de benchmark, latência, memória, acurácia, tamanho do bundle ou outra saída numérica. Use o modo de juiz quando a pergunta real for se o patch está correto, é manutenível e é seguro. Se a métrica capturar apenas parte do objetivo, peça uma leitura híbrida: classificar pela métrica e, em seguida, sinalizar preocupações de corretude ou regressão a partir dos diffs.
Iniciantes conseguem usar o eval skill?
Iniciantes conseguem usar o eval se já entenderem o conceito de sessão do AgentHub. A superfície do comando é pequena, mas a qualidade da avaliação depende do estado do repositório: branches, worktrees, posts de resultado e comandos de eval configurados. Se esses artefatos estiverem ausentes, uma pessoa iniciante pode receber rankings confusos ou incompletos.
Quando o eval é a ferramenta errada?
Não use o eval antes de os agentes terminarem, quando há apenas um resultado ou quando o assistente não consegue acessar diffs e arquivos de resultado. Ele também não é uma boa escolha para benchmarking amplo de modelos, criação de leaderboards de prompts ou avaliação offline de datasets, a menos que você adapte o fluxo ao redor. Para esses casos, um harness de avaliação dedicado é mais apropriado.
Como melhorar o eval skill
Melhore os resultados do eval com critérios mais claros
O maior ganho de qualidade vem de uma política de ranking precisa. Diga ao eval o que mais importa: corretude, testes passando, performance, simplicidade, segurança, compatibilidade ou menor volume de alterações no código. Evite pedidos vagos como “escolha o melhor”. Prefira: “Rank agents by correctness first; if tied, prefer fewer changed files and no new dependencies; mention any untested assumptions.”
Evite modos de falha comuns do eval
Falhas comuns incluem classificar por uma métrica enganosa, ignorar um caso de borda que falha, comparar branches desatualizadas ou valorizar demais um diff menor que não resolve a tarefa. Evite isso confirmando a branch base, o ID da sessão, a direção da métrica e o objetivo da tarefa antes da avaliação. No modo de juiz, peça rankings sustentados por evidências, vinculados a diffs e posts de resultado específicos.
Itere depois do primeiro ranking
Trate a primeira saída do eval como um rascunho de decisão. Se o vencedor parecer surpreendente, peça uma segunda análise focada no critério em disputa: “Re-evaluate only the top two agents for regression risk,” ou “Explain whether agent-2’s faster metric comes from skipping required behavior.” Isso mantém o fluxo de eval prático sem executar novamente toda a sessão de agentes.
Fortaleça o skill para o seu próprio fluxo
Se você mantém uma configuração do AgentHub, melhore o eval padronizando o formato dos posts de resultado, nomeando métricas de forma consistente e tornando o comando de eval determinístico. Adicione orientações específicas do projeto sobre o que conta como corretude, quais testes precisam passar e quais riscos bloqueiam um merge. O skill é compacto, então as convenções locais em torno de sessões, branches e métricas vão determinar o quanto eval parecerá confiável no uso diário.