do-and-judge

Descripción general de do-and-judge

Qué hace do-and-judge

El skill do-and-judge es un patrón de ejecución de una sola tarea para la automatización de flujos de trabajo: envía el trabajo a un subagente de implementación, crea una rúbrica de evaluación separada y luego reintenta hasta que el resultado pasa o se alcanza el límite de reintentos. Es ideal para trabajos en los que la calidad depende de una verificación externa, no solo de generar una respuesta en un solo intento.

Quién debería usarlo

Usa do-and-judge cuando necesites que un agente complete una tarea acotada con criterios de aceptación medibles, como refactors, ediciones de código o cambios estructurados de contenido. Encaja bien si quieres menos autoevaluación y una verificación independiente más sólida antes de aceptar el resultado.

Por qué destaca

El valor principal del skill do-and-judge está en la separación de roles: el orquestador no hace la tarea por sí mismo, el agente de implementación trabaja con contexto nuevo, y el juez evalúa frente a una especificación dedicada. Ese diseño reduce los puntos ciegos y hace que instalar do-and-judge merezca la pena cuando la exactitud importa más que la velocidad por sí sola.

Cómo usar el skill do-and-judge

Instalación y configuración de do-and-judge

Instala el skill do-and-judge en tu workspace de skills y, después, abre primero SKILL.md porque ahí están las reglas de funcionamiento y el flujo de control. Para una revisión rápida del repo, lee SKILL.md antes que cualquier otra cosa; aquí no hay scripts auxiliares ni carpetas de soporte en las que apoyarse, así que el archivo del skill es la fuente de verdad.

Convierte una solicitud vaga en una entrada útil

El patrón de do-and-judge usage funciona mejor cuando la tarea es concreta, verificable y tiene un final claro. En lugar de pedir “mejora este módulo”, proporciona:

• el archivo o componente exacto de destino
• el resultado deseado
• las restricciones que no deben cambiar
• una condición de aprobación/rechazo o el comportamiento esperado

Ejemplo de prompt sólido: Refactor the UserService class to use dependency injection without changing public method names; verify that all existing tests still pass and that constructor wiring is explicit.

Flujo de trabajo sugerido

Una guía práctica para do-and-judge es: define la tarea, deja que el agente de implementación trabaje de forma aislada, genera una rúbrica de evaluación, comprueba el resultado contra esa rúbrica y reintenta solo ante fallos concretos. El flujo está pensado para do-and-judge for Workflow Automation, donde el objetivo es una ejecución controlada, no una lluvia de ideas abierta.

Qué revisar en el repo

Lee SKILL.md para entender el proceso, las restricciones críticas y el umbral de reintentos. Presta especial atención a las secciones sobre alcance de la tarea, manejo de contexto y señales de alerta, porque determinan si el orquestador se comporta correctamente. Si vas a adaptar el skill a otro stack, traslada esas reglas a tu propia herramienta antes de usarlo en una tarea real.

Preguntas frecuentes sobre do-and-judge

¿Es do-and-judge mejor que un prompt normal?

Para solicitudes simples, no. Un prompt normal es más rápido. do-and-judge es mejor cuando necesitas que una tarea se implemente y se verifique de forma independiente, sobre todo si es probable que la primera respuesta pase por alto casos límite o se desvíe de los requisitos.

¿Es este skill apto para principiantes?

Sí, si puedes describir la tarea con claridad. La principal curva de aprendizaje no es la sintaxis; es aportar suficiente contexto de la tarea y criterios de aceptación para que el juez evalúe el resultado sin tener que adivinar.

¿Cuándo no debería usar do-and-judge?

No uses do-and-judge para exploración abierta, ideación difusa o tareas en las que el éxito sea difícil de definir. Tampoco encaja bien cuando quieres que el orquestador edite archivos o ejecute herramientas directamente, porque el skill está diseñado alrededor de la separación de roles y la verificación.

¿Cómo encaja en Workflow Automation?

Encaja mejor como capa de control para trabajos únicos y acotados dentro de un sistema de automatización más amplio. Si tu flujo ya tiene comprobaciones explícitas, el skill aporta valor al estructurar el bucle del agente; si tu flujo no tiene criterios de aceptación, el paso del juez será demasiado vago para ayudar.

Cómo mejorar el skill do-and-judge

Dale mejores criterios al juez

La mayor mejora de calidad viene de una entrada de evaluación más sólida. Al usar do-and-judge, especifica qué significa “bien” en términos observables: comportamiento requerido, cambios prohibidos, objetivos de cobertura, restricciones de formato o reglas de compatibilidad. Cuanto más concretos sean los criterios, menos probable será que el juez apruebe un resultado débil.

Reduce los fallos más comunes

El fallo más habitual es un alcance mal definido. Si la tarea es demasiado amplia, el agente de implementación puede optimizar lo equivocado y el juez solo lo detectará tarde. Otro modo de fallo son las restricciones ocultas, como compatibilidad hacia atrás, convenciones de nombres o límites del entorno, así que inclúyelas desde el principio en lugar de esperar que el bucle de reintentos las deduzca.

Itera sobre la primera salida

Si la primera ejecución no da en el clavo, no vuelvas a formular exactamente la misma tarea. Devuélvele al sistema los fallos exactos detectados por el juez, ajusta los criterios de aceptación y elimina el lenguaje ambiguo. Para do-and-judge usage, el segundo intento debería ser más acotado y más verificable que el primero.

Mejora el encaje antes de volver a ejecutar

Si estás adaptando do-and-judge a otro repo o a otro stack de agentes, primero alinea las reglas de orquestación con tu tooling. Comprueba si tu configuración realmente puede soportar implementación aislada, juicio independiente y reintentos acotados; si no, simplifica el patrón en lugar de forzarlo.