judge

Descripción general de la skill judge

Qué hace judge

La skill judge запускаa un flujo de evaluación en dos fases: primero, un meta-juez define la rúbrica adecuada para la tarea; después, un subagente juez puntúa el trabajo con contexto y evidencias aisladas. Es ideal para quienes necesitan una revisión disciplinada de código, análisis, texto o resultados de un agente, más que una opinión informal.

Quién debería usar judge

Usa la skill judge cuando quieras una evaluación solo en informe, con criterios claros, citas y feedback accionable. Encaja especialmente bien en revisiones de Skill Authoring, revisión de cambios en repositorios y cualquier tarea en la que el sesgo de confirmación o el arrastre de la sesión puedan distorsionar el juicio.

Por qué es diferente

A diferencia de un prompt genérico que pide “feedback”, judge construye los criterios de evaluación antes de empezar a puntuar. Eso hace que la skill judge sea mejor cuando el tipo de artefacto no está del todo claro, cuando necesitas una puntuación multidimensional o cuando la revisión debe poder defenderse ante otra persona.

Cómo usar la skill judge

Instala judge e inspecciona el archivo de entrada

Instálala con npx skills add NeoLabHQ/context-engineering-kit --skill judge. Empieza por plugins/sadd/skills/judge/SKILL.md, ya que contiene el flujo de trabajo, las entradas y las restricciones de evaluación que definen el comportamiento de instalación de judge.

Dale a judge un objetivo de evaluación concreto

La skill funciona mejor cuando nombras el trabajo y el enfoque. Un buen prompt sería: Judge the last draft of the launch page for clarity, SEO fit, and factual accuracy. Un prompt débil como Review this deja demasiado margen de adivinación al meta-juez.

Proporciona el contexto adecuado para el pipeline de judge

Incluye el artefacto que se va a evaluar, los criterios de éxito y cualquier restricción dura, como el tono, la audiencia, las prioridades de la rúbrica o los cambios prohibidos. Si vas a usar judge para Skill Authoring, dilo explícitamente y nombra la skill objetivo, porque la rúbrica debe cambiar para reflejar claridad de instalación, facilidad de descubrimiento y calidad de las instrucciones.

Lee primero estos archivos

Para instalación y adaptación, lee primero SKILL.md y después cualquier archivo de flujo o de políticas que incluya el repo. En este repositorio, el cuerpo de la skill es la principal fuente de verdad, así que el camino más rápido es revisar la estructura del prompt, las fases del flujo y los requisitos de evidencia antes de copiar el patrón a tu propio sistema.

Preguntas frecuentes sobre la skill judge

¿judge es solo para revisar código?

No. La skill judge está pensada para evaluar cualquier trabajo producido que se beneficie de una rúbrica: prompts, documentación, análisis, resultados de agentes o decisiones de diseño. El requisito clave es que el resultado pueda juzgarse frente a criterios explícitos y con evidencia.

¿Cuándo no debería usar judge?

No uses judge cuando solo necesites una reacción subjetiva rápida, cuando todavía no exista un artefacto terminado o cuando la tarea no pueda evaluarse con evidencias. En esos casos, un prompt más simple suele ser más rápido y menos frágil.

¿judge es adecuada para principiantes?

Sí, si la persona puede nombrar el artefacto y los criterios de éxito. Los principiantes suelen tener problemas solo cuando piden un juicio sin contexto. La skill reduce ese problema al obligar a un paso de meta-juez, pero aun así necesita un objetivo claro.

¿En qué se diferencia judge de un prompt normal?

Un prompt normal suele pedir que un solo modelo invente los criterios y puntúe el resultado en una sola pasada. La skill judge separa esos roles, lo que normalmente mejora la consistencia, reduce el sesgo y hace que el informe final sea más fácil de confiar.

Cómo mejorar la skill judge

Haz explícito el objetivo de evaluación

Las mejores entradas para judge nombran el artefacto exacto, la audiencia deseada y la decisión que quieres respaldar. Por ejemplo: Evaluate the new onboarding doc for first-time contributors, with emphasis on setup clarity and missing prerequisites. Eso es mejor que Check my doc porque la rúbrica puede alinearse con el riesgo real para el usuario.

Añade restricciones que afecten a la rúbrica

Si te importa la evidencia a nivel de línea, los requisitos de citación o una escala de puntuación concreta, dilo desde el principio. Judge rinde mejor cuando sabe si debe priorizar corrección, completitud, claridad de UX o cumplimiento de políticas, en lugar de promediarlas de forma implícita.

Itera después del primer informe

Usa el primer informe de judge para afinar el siguiente prompt: añade contexto que falte, aclara los trade-offs y señala cualquier sección que haya quedado infravalorada. Para Skill Authoring, la iteración más útil suele ser pedir a judge que reevalúe por separado la claridad de instalación, el realismo de uso y los casos límite.

Vigila los modos de fallo habituales

Judge puede rendir peor cuando el trabajo fuente es vago, cuando el artefacto está incompleto o cuando el foco de evaluación está sobrecargado con demasiados objetivos. Si ocurre, divide la tarea en pasadas más estrechas y dale a judge solo el material necesario para la decisión actual.