skill-comply

Resumen de skill-comply

skill-comply es una skill de pruebas de cumplimiento para comprobar si un agente realmente sigue una skill, una regla o una definición de agente en ejecuciones reales. Encaja con quienes necesitan evidencias, no suposiciones: mantenedores que validan una regla de flujo de trabajo, autores que prueban una skill nueva o equipos que quieren saber si un agente de programación obedece restricciones de TDD, revisión o proceso bajo distintas condiciones de prompt.

Qué hace la skill skill-comply

La skill skill-comply genera una especificación de comportamiento esperada a partir de un archivo markdown, crea tres prompts con apoyo decreciente, ejecuta al agente y luego compara las líneas de tiempo de tool calls observadas con la especificación. Eso la hace útil para Compliance Review cuando te importa tanto la presencia como el orden de las acciones, no solo el resultado final.

Cuándo skill-comply encaja bien

Usa skill-comply cuando necesites verificar que una regla se cumple bajo presión: prompts de apoyo, prompts neutrales y prompts en competencia. Es especialmente relevante para skills que dependen de una secuencia, como “probar antes de implementar” o “leer la regla antes de editar”.

Qué la diferencia

A diferencia de un prompt genérico que pregunta “¿siguió las reglas?”, skill-comply convierte la comprobación en algo operativo: extrae pasos, clasifica tool calls con un LLM y evalúa el orden de forma determinista. El valor está en el trace, la línea de tiempo y la tasa de cumplimiento, que te ayudan a decidir si la skill es lo bastante fiable como para seguir usándola.

Cómo usar la skill skill-comply

Instalar y activar skill-comply

Instala la skill skill-comply con:

npx skills add affaan-m/everything-claude-code --skill skill-comply

Después ejecútala sobre el archivo markdown que quieras verificar. El patrón de uso del propio repositorio está centrado en la ejecución por CLI, así que la skill funciona mejor cuando la apuntas a un solo archivo objetivo y tratas la salida como un informe de cumplimiento, no como un resumen en prosa.

Lee primero estos archivos

Para la ruta de instalación y configuración de skills/skill-comply, empieza por skills/skill-comply/SKILL.md y luego revisa prompts/spec_generator.md, prompts/scenario_generator.md y prompts/classifier.md. Esos tres prompts muestran el flujo de trabajo real: extracción de especificaciones, generación de escenarios y clasificación del trace. Si quieres entender las restricciones de implementación, echa un vistazo a scripts/run.py, scripts/spec_generator.py, scripts/scenario_generator.py y scripts/classifier.py.

Cómo plantear una buena entrada

Un buen prompt de skill-comply usage es un objetivo de cumplimiento concreto, no una política vaga. Las buenas entradas nombran el archivo y el comportamiento que quieres verificar, por ejemplo: “Comprueba si rules/common/testing.md se sigue durante una tarea de programación” o “Mide si el agente escribe pruebas antes de implementar en esta skill”. Entradas débiles como “¿esto está bien?” no dan suficiente comportamiento para que la herramienta pueda evaluarlo.

Flujo práctico para obtener mejores resultados

Usa esta secuencia: elige una sola regla o skill, genera la spec, revisa los pasos extraídos y luego ejecuta los tres niveles de escenario. La mejor forma de usar skill-comply for Compliance Review es comparar en paralelo las ejecuciones de apoyo, neutrales y en competencia, porque así ves si el comportamiento es robusto o si solo aparece cuando el prompt ayuda.

Preguntas frecuentes sobre la skill skill-comply

¿skill-comply es solo para skills de programación?

No. Funciona mejor para flujos de trabajo de agentes de código, pero el repositorio admite explícitamente skills, reglas y definiciones de agente. Si tu objetivo es una política en markdown con acciones observables, skill-comply encaja muy bien.

¿En qué se diferencia de una prueba de prompt normal?

Una prueba de prompt normal comprueba si una respuesta parece correcta. skill-comply comprueba si las acciones del agente coinciden con una secuencia esperada, incluido el momento de uso de las herramientas. Eso importa cuando el cumplimiento depende del proceso, no solo del resultado.

¿skill-comply es apta para principiantes?

Sí, si puedes identificar el archivo que se está probando y describir el comportamiento que esperas. La parte más difícil es elegir un objetivo con pasos observables claros. Es menos útil cuando la política es vaga o depende sobre todo del juicio humano.

¿Cuándo no debería usarla?

No uses skill-comply cuando el objetivo no tenga una secuencia accionable, no haya tool calls significativas o solo existan criterios subjetivos de calidad. También es una mala opción si necesitas observabilidad completa de producción más allá de una única ejecución de claude -p y la comparación de traces.

Cómo mejorar la skill skill-comply

Dale un material de origen más preciso

skill-comply funciona mejor cuando el markdown de origen deja claras las acciones concretas, el orden y las excepciones. Si tu regla dice “prefiere pruebas” en lugar de “escribe una prueba antes de implementar”, la spec extraída será más difícil de evaluar y menos útil para Compliance Review.

Vigila los principales modos de fallo

El mayor riesgo es confiar demasiado en una spec extraída que sea demasiado amplia o demasiado estrecha. Otro problema habitual es confundir el apoyo del prompt con el cumplimiento real: una skill puede verse bien en el escenario de apoyo y fallar en cuanto el prompt pasa a ser neutral o en competencia. Usa los resultados de skill-comply usage para comprobar robustez, no solo una ejecución en verde.

Refuerza las entradas de la primera ejecución

Aporta una ruta objetivo, una tarea realista y cualquier comando de configuración necesario para reproducir el comportamiento que se está probando. Si la skill depende de archivos, comandos o supuestos de entorno, inclúyelos de forma explícita para que los escenarios generados reflejen el uso real y no un ejemplo de juguete.

Itera del trace a la spec

Después de la primera ejecución, revisa la spec generada y la línea de tiempo de tool calls antes de cambiar el prompt o el texto de la skill. Si se omitió un paso, decide si el problema está en la redacción de la skill, en el diseño del escenario o en la descripción del detector. Ese ciclo es donde skill-comply aporta más valor: convierte “¿cumplió?” en ediciones concretas que puedes hacer en la regla de origen.