self-eval

Descripción general de la skill self-eval

Para qué sirve self-eval

La skill self-eval es una skill de Claude Code basada solo en prompts para evaluar con honestidad el trabajo después de terminarlo. Ayuda a un agente de IA a valorar su propio resultado tras una tarea, una revisión de código, una sesión de implementación, una pasada de depuración o un ejercicio de planificación, sin caer por defecto en elogios vagos ni en puntuaciones infladas tipo “4/5”.

En lugar de preguntar “¿Qué tan bueno fue esto?” en una única escala subjetiva, self-eval separa la evaluación en dos ejes: ambición de la tarea y calidad de ejecución. Eso la hace útil cuando necesitas una respuesta calibrada a: “¿Fue un trabajo realmente sólido, o solo un trabajo aceptable en una tarea fácil?”

Usuarios y tareas para los que encaja mejor

Usa la skill self-eval si quieres que un agente revise trabajo ya completado antes de aceptarlo, fusionarlo o seguir construyendo sobre él. Es especialmente relevante para equipos de ingeniería que usan IA en generación de código, refactorización, triaje de incidencias, escritura de pruebas o análisis de arquitectura.

No sustituye a las suites de pruebas, la revisión humana, la revisión de seguridad ni la validación en producción. Su valor está en la autocrítica estructurada: detectar exceso de confianza, sacar a la luz debilidades y crear un historial de puntuaciones entre sesiones de trabajo.

Qué la diferencia de un prompt normal

Un prompt normal de “evalúa tu trabajo” suele producir aspectos positivos genéricos, matices suaves y una puntuación optimista. self-eval añade restricciones que dificultan la inflación: razonamiento obligatorio de abogado del diablo, una matriz fija de puntuación y persistencia de puntuaciones en .self-eval-scores.jsonl.

Esa persistencia importa. Si las evaluaciones recientes se agrupan demasiado, la skill puede señalar patrones de inflación de puntuaciones en lugar de tratar cada revisión como un caso aislado.

Cómo usar la skill self-eval

Instalación de self-eval y revisión del repositorio

Instálala desde la fuente de skills en GitHub usando tu gestor de skills, por ejemplo:

npx skills add alirezarezvani/claude-skills --skill self-eval

La ruta relevante del repositorio es:

engineering/skills/self-eval/SKILL.md

En la estructura actual no hay dependencias externas, scripts auxiliares, reglas incluidas ni archivos de referencia. Para una revisión rápida antes de instalar, lee primero SKILL.md; contiene el modelo de puntuación, el flujo de trabajo y las expectativas de salida. Como es una skill basada solo en prompts, el riesgo de adopción es bajo, pero la calidad del resultado depende mucho de darle suficiente contexto sobre la tarea.

Entradas que necesita la skill

Para que el uso de self-eval sea útil, no te limites a decir “evalúa esto”. Dale al agente el trabajo completado y el estándar con el que debe juzgarse.

Buenas entradas incluyen:

• La solicitud original del usuario o la descripción del issue
• La respuesta final, patch, plan o revisión producida por el agente
• Restricciones relevantes, como límites de tiempo, reglas de estilo, requisitos de pruebas o enfoques prohibidos
• Evidencia de validación, como pruebas ejecutadas, archivos modificados, comandos usados o brechas conocidas
• La audiencia prevista: maintainer, reviewer, product owner, usuario principiante o equipo de producción

Un prompt débil pide una puntuación. Un prompt sólido le da a la skill suficiente evidencia para distinguir entre “poca ambición pero limpio” y “mucha ambición pero incompleto”.

Patrón de prompt para obtener mejores resultados

Usa self-eval después de que el trabajo esté hecho, no antes. Un prompt práctico sería:

Use the self-eval skill to evaluate the work below. Original task: [goal]. Output produced: [answer or diff summary]. Constraints: [tests, style, repo rules]. Validation performed: [commands or none]. Known concerns: [risks]. Give the two-axis evaluation, devil's advocate reasoning, final matrix score, and concrete follow-up actions.

Esta estructura mejora el resultado porque evita que el modelo evalúe solo el tono o el esfuerzo. Obliga a que la revisión considere ambición, ejecución, evidencia y riesgos no resueltos.

Flujo de trabajo recomendado

Ejecuta self-eval en puntos de control donde una evaluación engañosamente positiva podría salir cara:

1. Completa la tarea o redacta la solución.
2. Pide self-eval usando el objetivo original y la evidencia del trabajo.
3. Lee la sección de abogado del diablo antes de mirar la puntuación final.
4. Convierte las debilidades en una lista breve de correcciones.
5. Vuelve a ejecutarla solo después de cambios significativos, no tras ajustes cosméticos.

Si se crea .self-eval-scores.jsonl en tu directorio de trabajo, trátalo como historial local de evaluación. Decide si tu equipo quiere commitear ese archivo, ignorarlo o revisarlo periódicamente.

FAQ de la skill self-eval

¿self-eval sirve para Model Evaluation o para calidad de código?

Sirve para ambas cosas, pero con un sentido acotado. self-eval for Model Evaluation se entiende mejor como evaluación a nivel de tarea del propio trabajo de un agente de IA, no como medición de modelo con rigor de benchmark. Puede ayudar a comparar sesiones, detectar autoevaluaciones infladas y mejorar la disciplina de revisión, pero no sustituye a harnesses formales de evaluación, conjuntos de datos golden ni puntuaciones etiquetadas por humanos.

¿Cuándo no debería usar self-eval?

No la uses como único filtro para trabajo de alto riesgo: cambios sensibles de seguridad, contenido legal o médico, migraciones en producción o cualquier cosa que requiera corrección verificada. También conviene evitarla cuando no hay un artefacto concreto que evaluar. La skill necesita una tarea, un resultado y criterios de evaluación; de lo contrario, seguirá produciendo estructura, pero con evidencia débil.

¿Es apta para principiantes?

Sí, porque se basa solo en prompts y no tiene dependencias de tooling. Aun así, las personas principiantes deberían leer SKILL.md antes de usarla, especialmente la lógica de puntuación. La principal curva de aprendizaje no está en la instalación, sino en aportar suficiente contexto para que la evaluación no se base en impresiones.

¿En qué se diferencia de pedir una crítica?

Una crítica puede enumerar problemas sin una puntuación calibrada. self-eval usa un modelo de dos ejes y una puntuación final bloqueada por matriz, así que el agente tiene menos libertad para justificar cualquier calificación que “se sienta” correcta. El paso de abogado del diablo también exige argumentar tanto a favor de una puntuación más alta como de una más baja antes de resolver el juicio final.

Cómo mejorar la skill self-eval

Dale a self-eval evidencia más sólida

La mejor forma de mejorar los resultados de self-eval es hacer que la evidencia sea concreta. Incluye archivos modificados, pruebas fallidas o superadas, omisiones importantes y criterios de aceptación. Si no se ejecutaron pruebas, dilo. Si la respuesta omitió intencionalmente un requisito, inclúyelo también.

Mejor entrada no significa entrada más larga; significa entrada evaluable. “Refactoricé el código de auth” es débil. “Refactored auth/session.ts to remove duplicated token parsing; ran npm test -- auth; did not test OAuth callback manually” le da a la skill algo real que puntuar.

Vigila los modos de fallo habituales

El fallo más común es dejar que el modelo premie el esfuerzo en lugar del resultado. Otro es tratar una tarea difícil con ejecución parcial como automáticamente sólida. self-eval está diseñada para resistir eso, pero solo si el usuario incluye la ambición original y el entregable real.

También conviene vigilar el ruido en el historial de puntuaciones. Si .self-eval-scores.jsonl mezcla tipos de tareas no relacionados, las señales de agrupamiento pueden ser menos significativas. Una pasada de pulido de documentación y una migración compleja no deberían interpretarse como equivalentes solo porque comparten una puntuación numérica.

Itera de la puntuación a la acción

No te detengas en la puntuación final. El resultado útil es la brecha entre ambición y ejecución. Convierte esa brecha en un prompt de reparación:

Based on the self-eval weaknesses, revise the work to address the top three execution gaps. Do not expand scope. Preserve the original constraints and report what changed.

Esto mantiene enfocada la siguiente iteración. También evita que el agente “mejore” el trabajo añadiendo funcionalidades no relacionadas para perseguir una puntuación más alta.

Personaliza con cautela

Si adaptas la skill self-eval, conserva las partes que crean calibración: ejes separados, razonamiento de abogado del diablo, asignación fija de puntuaciones y conciencia del historial de puntuaciones. Personalizar etiquetas, formato de salida o criterios de aceptación específicos del equipo suele ser seguro. Eliminar las restricciones que obligan al modelo a argumentar contra sí mismo hará que la skill se comporte más como un prompt de revisión ordinario.