senior-ml-engineer

Descripción general de la skill senior-ml-engineer

Para qué sirve senior-ml-engineer

La skill senior-ml-engineer es un asistente de ingeniería de ML en producción para convertir modelos entrenados, funcionalidades con LLM y prototipos RAG en sistemas desplegables. Se centra en decisiones de MLOps: empaquetado de modelos, arquitectura de serving, monitoreo, detección de drift, despliegues canary, planificación de feature stores, diseño de recuperación para RAG, confiabilidad de APIs de LLM y control de costos.

Usuarios y proyectos para los que encaja mejor

Usa esta skill cuando ya tengas un modelo, un pipeline de embeddings o una idea de producto con LLM, y necesites un plan de implementación que contemple la operación en producción. Es especialmente útil para ML engineers, backend engineers, equipos de plataforma y responsables técnicos que necesitan orientación práctica sobre Docker, Kubernetes, MLflow, flujos de trabajo tipo Kubeflow, bases de datos vectoriales, monitoreo o APIs de inferencia en producción.

Qué diferencia a esta skill

A diferencia de un prompt genérico de ML, la senior-ml-engineer skill está organizada alrededor de flujos de trabajo de producción, no de experimentación con modelos. El repositorio incluye guías de referencia sobre patrones de MLOps en producción, integración de LLM y arquitectura RAG, además de scaffolds de scripts para despliegue, monitoreo y construcción de RAG. Su mayor valor es ayudar a un agente a formular preguntas operativas: objetivo de latencia, división de tráfico, comportamiento de fallback, observabilidad, puertas de evaluación y disparadores de reentrenamiento.

Advertencia importante antes de adoptarla

Los scripts de Python incluidos son scaffolds iniciales, no herramientas de producción listas para usar. Proporcionan logging, carga de configuración y estructura CLI, pero debes asumir que tendrás que añadir validación real, integraciones cloud, lógica de pruebas, controles de seguridad y código específico del despliegue. Instálala para planificación y asistencia estructurada de ingeniería, no como una plataforma MLOps plug-and-play.

Cómo usar la skill senior-ml-engineer

Instalación de senior-ml-engineer y ruta del repositorio

Instala la skill desde el repositorio de skills de GitHub con:

npx skills add alirezarezvani/claude-skills --skill senior-ml-engineer

Luego revisa el código fuente en engineering-team/skills/senior-ml-engineer. Lee primero SKILL.md para entender los disparadores y el alcance del flujo de trabajo. Después, abre references/mlops_production_patterns.md, references/llm_integration_guide.md y references/rag_system_architecture.md según tu caso de uso. Trata scripts/model_deployment_pipeline.py, scripts/ml_monitoring_suite.py y scripts/rag_system_builder.py como plantillas para adaptar, no como automatización terminada.

Entradas que necesita la skill

Para un senior-ml-engineer usage de alta calidad, proporciona el contexto de producción, no solo el tipo de modelo. Incluye:

• Framework del modelo y formato del artefacto: PyTorch, TensorFlow, ONNX, TorchScript, SavedModel
• Objetivo de serving: REST API, inferencia batch, inferencia con GPU, streaming, despliegue en edge
• Infraestructura: Docker, Kubernetes, proveedor cloud, CI/CD, registry, secrets manager
• SLOs: latencia p95, throughput, uptime, tasa máxima de error, techo de costos
• Plan de rollout: staging, porcentaje canary, condición de rollback, requisitos de A/B testing
• Necesidades de monitoreo: drift, latencia, calidad de datos, proxy de accuracy, ciclo de revisión humana
• Para RAG: tipos de documentos, restricciones de chunking, base de datos vectorial, reranking, conjunto de evaluación
• Para APIs de LLM: opciones de proveedor, política de reintentos, modelo de fallback, presupuesto de tokens, restricciones de seguridad

Convierte una solicitud vaga en un prompt sólido

Prompt débil: “Ayúdame a desplegar mi modelo de ML.”

Prompt más sólido: “Use the senior-ml-engineer skill. I have a PyTorch fraud model exported as TorchScript, expected 80 requests/sec, p95 latency under 120 ms, deployed on Kubernetes with Docker images in GitHub Actions. Propose a staging-to-canary deployment plan, FastAPI or Triton serving choice, health checks, monitoring metrics, rollback criteria, and a minimal file layout. Assume model accuracy must be monitored using delayed labels available after 7 days.”

Esto funciona mejor porque la skill puede traducir los requisitos en puertas de despliegue concretas, tradeoffs de serving y diseño de monitoreo, en lugar de dar una checklist genérica.

Flujo de trabajo recomendado para equipos de Machine Learning

Empieza por la selección de arquitectura y luego avanza hacia el detalle de implementación. Para serving de modelos, pide una comparación de FastAPI, Triton Inference Server, TensorFlow Serving y scoring batch frente a tus necesidades de latencia y throughput. Para MLOps, pide etapas de CI/CD, versionado de artefactos, estructura del registry, validación en staging, métricas canary y umbrales de rollback. Para RAG, pide chunking, embeddings, búsqueda vectorial, reranking, ensamblado de prompts y evaluación de alucinaciones. Para integración con LLM, pide abstracción de proveedores, reintentos, manejo de rate limits, observabilidad y estimación de costos.

Preguntas frecuentes sobre la skill senior-ml-engineer

¿senior-ml-engineer sirve para principiantes en Machine Learning?

Puede ayudar a principiantes a entender el vocabulario de ML en producción, pero no está pensada principalmente como una skill de formación o tutoría en data science. Asume que estás saliendo de los notebooks y entrando en despliegue, monitoreo o diseño de sistemas. Si necesitas ayuda para elegir una arquitectura de modelo o mejorar la accuracy durante el entrenamiento, usa primero una skill orientada a modelado o investigación.

¿Cuándo no debería usar esta skill?

No uses senior-ml-engineer como skill principal para análisis exploratorio de datos, descubrimiento de features, diseño académico de modelos o escritura de un primer notebook. Tampoco encaja bien si necesitas instrucciones completamente gestionadas y específicas de una plataforma sin aportar tu stack. Por ejemplo, “deploy this somewhere” es demasiado amplio; “deploy to EKS with Helm, Prometheus, and canary rollout” sí encaja bien.

¿En qué se diferencia del prompting común?

Los prompts comunes suelen producir listas amplias de MLOps. Esta skill le da al agente un marco más orientado a producción: formato de artefactos, contenerización, validación en staging, rollout canary, comprobaciones de latencia p95, umbrales de tasa de error, model drift, patrones de feature store, validación de RAG, lógica de reintentos y controles de costo por tokens. Esa estructura reduce la probabilidad de omitir pasos operativos.

¿Es seguro ejecutar directamente los scripts incluidos?

Revísalos antes de usarlos. Los scripts parecen ser scaffolds CLI genéricos con logging y métodos de ejecución placeholder. Son puntos de partida útiles para tu propio pipeline de despliegue, suite de monitoreo o builder de RAG, pero no sustituyen automatizaciones internas probadas. Añade validación de configuración, gestión de dependencias, pruebas, autenticación, manejo de entornos e integraciones reales antes de usarlos en producción.

Cómo mejorar la skill senior-ml-engineer

Mejora los resultados de senior-ml-engineer con restricciones

La mejor forma de mejorar la salida de senior-ml-engineer es proporcionar restricciones medibles. En lugar de pedir “un diseño escalable”, especifica QPS esperado, latencia p95, tamaño del modelo, disponibilidad de GPU, ventana batch, objetivo de uptime, entorno cloud, restricciones de cumplimiento y límite de costos. Estos detalles cambian las opciones de serving, la profundidad del monitoreo y la política de rollback.

Modos de fallo comunes a vigilar

La skill puede generalizar demasiado si omites tu stack, asumir Kubernetes cuando un servicio más simple sería suficiente o proponer monitoreo antes de que tengas etiquetas ground-truth confiables. Las respuestas sobre RAG también pueden volverse demasiado abstractas si no proporcionas volumen de documentos, frecuencia de actualización, tipo de consulta y ejemplos de evaluación. Para integración con LLM, no incluir presupuesto de tokens ni detalles de rate limits suele llevar a diseños de costos y reintentos poco realistas.

Itera después de la primera respuesta

Pide una segunda pasada que convierta la recomendación en artefactos: una checklist de despliegue, Dockerfile, contrato de API, esquema de manifiestos de Kubernetes, métricas para dashboard de monitoreo, umbrales de alerta o etapas de CI/CD. Luego pide a la skill que identifique riesgos y supuestos faltantes. Esto convierte la senior-ml-engineer guide de consejo general en un plan de implementación que tu equipo puede revisar.

Adapta las referencias del repositorio a tu entorno

Usa los documentos de referencia como marcos de decisión, no como una arquitectura fija. Si ejecutas modelos pequeños en CPU, prioriza un despliegue más simple con FastAPI antes de añadir infraestructura de serving pesada. Si ejecutas inferencia en GPU con alto throughput, pide a la skill que evalúe Triton, batching y autoscaling. Si construyes RAG, adapta el chunking, reranking y las opciones de base de datos vectorial a tu corpus en lugar de copiar valores por defecto.