do-and-judge

Visão geral do skill do-and-judge

O que o do-and-judge faz

O skill do-and-judge é um padrão de execução de tarefa única para automação de fluxos de trabalho: ele envia o trabalho para um subagente de implementação, cria uma rubrica separada de avaliação e, depois, tenta novamente até o resultado passar ou o limite de tentativas ser alcançado. Ele é mais indicado para tarefas em que a qualidade depende de verificação externa, e não apenas de geração em uma única passada.

Quem deve usar

Use do-and-judge quando você precisar que um agente conclua uma tarefa delimitada com critérios de aceite mensuráveis, como refatorações, edições de código ou mudanças estruturadas de conteúdo. É uma boa escolha se você quer menos autocrítica e mais verificação independente antes de aceitar a saída.

Por que ele se destaca

O principal valor do skill do-and-judge está na separação de papéis: o orquestrador não executa a tarefa, o agente de implementação trabalha com contexto novo e o juiz avalia com base em uma especificação dedicada. Esse desenho reduz pontos cegos e faz valer a instalação do do-and-judge quando a correção importa mais do que a velocidade isoladamente.

Como usar o skill do-and-judge

Instalação e configuração do do-and-judge

Instale o skill do-and-judge no seu workspace de skills e, em seguida, abra SKILL.md primeiro, porque ele contém as regras de operação e o fluxo de controle. Para uma leitura rápida do repositório, comece por SKILL.md antes de qualquer outra coisa; aqui não há scripts auxiliares nem pastas de suporte para depender, então o arquivo do skill é a fonte da verdade.

Transforme uma solicitação vaga em entrada útil

O padrão de uso do do-and-judge funciona melhor quando a tarefa é específica, testável e tem um fim claramente definido. Em vez de pedir “melhore este módulo”, forneça:

• o arquivo ou componente exato de destino
• o resultado desejado
• as restrições que não podem mudar
• uma condição de aprovação/reprovação ou o comportamento esperado

Exemplo forte de prompt: Refactor the UserService class to use dependency injection without changing public method names; verify that all existing tests still pass and that constructor wiring is explicit.

Fluxo de trabalho sugerido

Um guia prático de do-and-judge é: definir a tarefa, deixar o agente de implementação trabalhar isolado, gerar uma rubrica de avaliação, checar o resultado contra essa rubrica e só então repetir em caso de falhas concretas. O fluxo foi pensado para do-and-judge for Workflow Automation, em que o objetivo é execução controlada, não brainstorming aberto.

O que observar no repositório

Leia SKILL.md para entender o processo, as restrições críticas e o limite de tentativas. Preste atenção especial às seções sobre escopo da tarefa, tratamento de contexto e sinais de alerta, porque é isso que determina se o orquestrador vai se comportar corretamente. Se você estiver adaptando o skill para outra stack, mapeie essas regras para suas próprias ferramentas antes de usá-lo em uma tarefa real.

FAQ do skill do-and-judge

O do-and-judge é melhor do que um prompt normal?

Para pedidos simples, não. Um prompt normal é mais rápido. O do-and-judge é melhor quando você precisa que a tarefa seja implementada e verificada de forma independente, especialmente se a primeira resposta provavelmente vai deixar passar casos-limite ou se afastar dos requisitos.

Este skill é amigável para iniciantes?

Sim, desde que você consiga descrever a tarefa com clareza. A principal curva de aprendizado não está na sintaxe; está em fornecer contexto suficiente da tarefa e critérios de aceite para que o juiz avalie a saída sem adivinhar.

Quando eu não devo usar o do-and-judge?

Não use do-and-judge para exploração aberta, ideação solta ou tarefas em que o sucesso seja difícil de definir. Também não é uma boa escolha quando você quer que o orquestrador edite arquivos ou execute ferramentas diretamente, porque o skill foi construído em torno de separação de papéis e verificação.

Como ele se encaixa em Workflow Automation?

Ele funciona melhor como uma camada de controle para trabalhos únicos e delimitados dentro de um sistema maior de automação. Se o seu fluxo já tem verificações explícitas, o skill agrega valor ao estruturar o loop do agente; se o seu fluxo não tem critérios de aceite, a etapa de juiz ficará vaga demais para ajudar.

Como melhorar o skill do-and-judge

Dê critérios melhores para o juiz

O maior ganho de qualidade vem de uma entrada de avaliação mais forte. Ao usar do-and-judge, especifique o que significa “bom” em termos observáveis: comportamento obrigatório, mudanças proibidas, metas de cobertura, restrições de formatação ou regras de compatibilidade. Quanto mais concretos forem os critérios, menor a chance de o juiz aprovar um resultado fraco.

Reduza modos de falha comuns

A falha mais comum é um escopo mal especificado. Se a tarefa for ampla demais, o agente de implementação pode otimizar a coisa errada e o juiz só vai perceber isso no fim. Outro modo de falha é a existência de restrições ocultas, como compatibilidade retroativa, convenções de nomenclatura ou limites do ambiente; por isso, inclua tudo isso desde o início, em vez de esperar que o loop de repetição descubra sozinho.

Itere sobre a primeira saída

Se a primeira execução não acertar, não reapresente a mesma tarefa. Repassar exatamente as falhas apontadas pelo juiz, apertar os critérios de aceite e remover linguagem ambígua. Para do-and-judge usage, a segunda tentativa deve ser mais estreita e mais testável do que a primeira.

Melhore o encaixe antes de executar de novo

Se você estiver adaptando do-and-judge para outro repositório ou stack de agentes, alinhe primeiro as regras de orquestração com suas ferramentas. Verifique se sua configuração realmente suporta implementação isolada, julgamento independente e tentativas limitadas; se não suportar, simplifique o padrão em vez de forçá-lo.