judge

Visão geral da skill judge

O que a judge faz

A skill judge inicia um fluxo de avaliação em duas fases: primeiro, um meta-avaliador define a rubrica certa para a tarefa; depois, um subagente judge pontua o trabalho com contexto isolado e evidências. Ela é mais indicada para quem precisa de uma revisão disciplinada de código, análise, texto ou saída de agente, em vez de uma opinião casual.

Quem deve usar a judge

Use a skill judge quando você quiser uma avaliação em formato de relatório, com critérios claros, citações e feedback acionável. Ela é uma ótima opção para revisões de Skill Authoring, revisão de mudanças em repositórios e qualquer tarefa em que viés de confirmação ou continuidade de sessão possa distorcer o julgamento.

Por que ela é diferente

Diferente de um prompt genérico pedindo “feedback”, a judge define os critérios de avaliação antes de começar a pontuação. Isso torna a skill judge mais adequada quando o tipo de artefato não está totalmente definido, quando você precisa de pontuação multidimensional ou quando a revisão precisa ser defensável para outra pessoa.

Como usar a skill judge

Instale a judge e inspecione o arquivo de entrada

Instale com npx skills add NeoLabHQ/context-engineering-kit --skill judge. Comece por plugins/sadd/skills/judge/SKILL.md, porque ele contém o fluxo de trabalho, os inputs e as restrições de avaliação que definem o comportamento de instalação da judge.

Dê à judge um alvo de avaliação concreto

A skill funciona melhor quando você nomeia o trabalho e a ótica de análise. Um bom prompt seria: Judge the last draft of the launch page for clarity, SEO fit, and factual accuracy. Um prompt fraco como Review this deixa meta-avaliador com margem demais para adivinhar.

Forneça o contexto certo para o pipeline da judge

Inclua o artefato a ser avaliado, os critérios de sucesso e quaisquer restrições rígidas, como tom, público, prioridades da rubrica ou mudanças proibidas. Se você estiver usando a judge para Skill Authoring, diga isso explicitamente e nomeie a skill-alvo, porque a rubrica deve mudar para refletir clareza de instalação, facilidade de descoberta e qualidade das instruções.

Leia estes arquivos primeiro

Para instalação e adaptação, leia primeiro SKILL.md e depois quaisquer arquivos de fluxo ou política que o repositório incluir. Neste repositório, o corpo da skill é a principal fonte de verdade, então o caminho mais rápido é inspecionar a estrutura do prompt, as fases do fluxo e os requisitos de evidência antes de copiar o padrão para o seu próprio sistema.

FAQ da skill judge

A judge é só para revisão de código?

Não. A skill judge foi pensada para avaliar qualquer trabalho produzido que se beneficie de uma rubrica: prompts, documentação, análise, saídas de agentes ou decisões de design. O ponto-chave é que o resultado possa ser julgado com base em critérios explícitos e evidências.

Quando não devo usar a judge?

Não use a judge quando você só precisa de uma reação subjetiva rápida, quando ainda não existe um artefato concluído ou quando a tarefa não pode ser avaliada com base em evidências. Nesses casos, um prompt mais simples costuma ser mais rápido e menos frágil.

A judge é indicada para iniciantes?

Sim, desde que a pessoa consiga nomear o artefato e os critérios de sucesso. Iniciantes geralmente só têm dificuldade quando pedem um julgamento sem contexto. A skill reduz esse problema ao forçar uma etapa de meta-avaliação, mas ainda exige um alvo claro.

Em que a judge é diferente de um prompt normal?

Um prompt normal muitas vezes pede que o mesmo modelo invente os critérios e atribua a nota numa única passada. A skill judge separa essas funções, o que normalmente melhora a consistência, reduz o viés e torna o relatório final mais confiável.

Como melhorar a skill judge

Deixe explícito qual é o alvo da avaliação

Os melhores inputs para a judge nomeiam o artefato exato, o público desejado e a decisão que você quer embasar. Por exemplo: Evaluate the new onboarding doc for first-time contributors, with emphasis on setup clarity and missing prerequisites. Isso é melhor do que Check my doc, porque a rubrica pode se alinhar ao risco real para o usuário.

Adicione restrições que afetam a rubrica

Se você se importa com evidência em nível de linha, exigência de citações ou uma escala de pontuação específica, diga isso logo de início. A judge funciona melhor quando sabe se deve priorizar precisão, completude, clareza de UX ou conformidade com políticas, em vez de fazer uma média implícita entre esses fatores.

Itere depois do primeiro relatório

Use o primeiro relatório da judge para refinar o próximo prompt: adicione contexto que faltou, esclareça trade-offs e aponte qualquer seção que parece ter recebido peso insuficiente. Para Skill Authoring, a iteração mais útil muitas vezes é pedir que a judge reavalie separadamente a clareza de instalação, o realismo do uso e os casos-limite.

Fique atento aos modos de falha comuns

A judge pode render abaixo do esperado quando o trabalho de origem é vago, quando o artefato está incompleto ou quando o foco da avaliação mistura objetivos demais. Se isso acontecer, divida a tarefa em passagens mais estreitas e forneça à judge apenas o material necessário para a decisão atual.