senior-ml-engineer

Présentation du skill senior-ml-engineer

À quoi sert senior-ml-engineer

Le skill senior-ml-engineer est un assistant d’ingénierie ML orienté production, conçu pour transformer des modèles entraînés, des fonctionnalités LLM et des prototypes RAG en systèmes déployables. Il se concentre sur les décisions MLOps : packaging des modèles, architecture de serving, monitoring, détection de drift, déploiement canary, planification de feature store, conception de la récupération RAG, fiabilité des API LLM et maîtrise des coûts.

Utilisateurs et projets pour lesquels il est le plus adapté

Utilisez ce skill lorsque vous disposez déjà d’un modèle, d’un pipeline d’embeddings ou d’une idée de produit LLM, et que vous avez besoin d’un plan d’implémentation qui tienne compte de l’exploitation en production. Il est particulièrement utile aux ML engineers, backend engineers, équipes plateforme et responsables techniques qui cherchent des recommandations concrètes sur Docker, Kubernetes, MLflow, des workflows de type Kubeflow, les bases de données vectorielles, le monitoring ou les API d’inférence en production.

Ce qui distingue ce skill

Par rapport à un prompt ML générique, le senior-ml-engineer skill est structuré autour des workflows de production plutôt que de l’expérimentation de modèles. Le dépôt contient des guides de référence sur les patterns MLOps en production, l’intégration LLM et l’architecture RAG, ainsi que des ébauches de scripts pour le déploiement, le monitoring et la construction de systèmes RAG. Sa principale valeur est d’aider un agent à poser les bonnes questions opérationnelles : objectif de latence, répartition du trafic, comportement de fallback, observabilité, critères d’évaluation et déclencheurs de réentraînement.

Point de vigilance avant adoption

Les scripts Python inclus sont des bases de départ, pas des outils de production prêts à l’emploi. Ils fournissent de la journalisation, le chargement de configuration et une structure CLI, mais vous devrez ajouter une vraie validation, des intégrations cloud, de la logique de test, des contrôles de sécurité et du code propre à votre déploiement. Installez-le pour la planification et l’assistance structurée en ingénierie, pas comme une plateforme MLOps clé en main.

Comment utiliser le skill senior-ml-engineer

Installation de senior-ml-engineer et chemin du dépôt

Installez le skill depuis le dépôt GitHub avec :

npx skills add alirezarezvani/claude-skills --skill senior-ml-engineer

Inspectez ensuite le code source dans engineering-team/skills/senior-ml-engineer. Commencez par lire SKILL.md pour comprendre les déclencheurs et le périmètre du workflow. Ouvrez ensuite references/mlops_production_patterns.md, references/llm_integration_guide.md et references/rag_system_architecture.md selon votre cas d’usage. Considérez scripts/model_deployment_pipeline.py, scripts/ml_monitoring_suite.py et scripts/rag_system_builder.py comme des modèles à adapter, et non comme de l’automatisation finalisée.

Informations à fournir au skill

Pour une senior-ml-engineer usage de qualité, fournissez le contexte de production, pas seulement le type de modèle. Incluez :

• Framework du modèle et format de l’artefact : PyTorch, TensorFlow, ONNX, TorchScript, SavedModel
• Cible de serving : API REST, inférence batch, inférence GPU, streaming, déploiement edge
• Infrastructure : Docker, Kubernetes, fournisseur cloud, CI/CD, registry, secrets manager
• SLOs : latence p95, débit, disponibilité, taux d’erreur maximal, plafond de coût
• Plan de déploiement : staging, pourcentage canary, condition de rollback, exigences de test A/B
• Besoins de monitoring : drift, latence, qualité des données, proxy de précision, boucle de revue humaine
• Pour RAG : types de documents, contraintes de chunking, base de données vectorielle, reranking, jeu d’évaluation
• Pour les API LLM : choix de fournisseurs, politique de retry, modèle de fallback, budget de tokens, contraintes de sécurité

Transformer une demande vague en prompt efficace

Prompt faible : “Help me deploy my ML model.”

Prompt plus solide : “Use the senior-ml-engineer skill. I have a PyTorch fraud model exported as TorchScript, expected 80 requests/sec, p95 latency under 120 ms, deployed on Kubernetes with Docker images in GitHub Actions. Propose a staging-to-canary deployment plan, FastAPI or Triton serving choice, health checks, monitoring metrics, rollback criteria, and a minimal file layout. Assume model accuracy must be monitored using delayed labels available after 7 days.”

Cette version fonctionne mieux, car le skill peut relier les exigences à des critères concrets de déploiement, à des arbitrages de serving et à une conception de monitoring, au lieu de produire une checklist générique.

Workflow recommandé pour les équipes Machine Learning

Commencez par le choix d’architecture, puis passez aux détails d’implémentation. Pour le serving de modèles, demandez une comparaison entre FastAPI, Triton Inference Server, TensorFlow Serving et le scoring batch au regard de vos besoins de latence et de débit. Pour le MLOps, demandez les étapes CI/CD, le versionnement des artefacts, l’organisation du registry, la validation en staging, les métriques canary et les seuils de rollback. Pour RAG, demandez des recommandations sur le chunking, les embeddings, la recherche vectorielle, le reranking, l’assemblage du prompt et l’évaluation des hallucinations. Pour l’intégration LLM, demandez une abstraction des fournisseurs, la gestion des retries, le traitement des limites de débit, l’observabilité et l’estimation des coûts.

FAQ du skill senior-ml-engineer

senior-ml-engineer convient-il aux débutants en Machine Learning ?

Il peut aider les débutants à comprendre le vocabulaire du ML en production, mais ce n’est pas principalement un skill de formation ou d’accompagnement en data science. Il suppose que vous êtes en train de passer des notebooks au déploiement, au monitoring ou à la conception système. Si vous avez besoin d’aide pour choisir une architecture de modèle ou améliorer la précision à l’entraînement, commencez plutôt par un skill orienté modélisation ou recherche.

Quand ne faut-il pas utiliser ce skill ?

N’utilisez pas senior-ml-engineer comme skill principal pour l’analyse exploratoire de données, la découverte de features, la conception académique de modèles ou la rédaction d’un premier notebook. Il est également peu adapté si vous cherchez des instructions entièrement managées et spécifiques à une plateforme sans fournir votre stack. Par exemple, “deploy this somewhere” est trop vague ; “deploy to EKS with Helm, Prometheus, and canary rollout” correspond beaucoup mieux à son périmètre.

En quoi est-il différent d’un prompt ordinaire ?

Les prompts ordinaires produisent souvent de longues listes MLOps assez générales. Ce skill donne à l’agent un cadre plus orienté production : format d’artefact, containerisation, validation en staging, déploiement canary, contrôles de latence p95, seuils de taux d’erreur, drift de modèle, patterns de feature store, validation RAG, logique de retry et maîtrise du coût en tokens. Cette structure réduit le risque d’oublier des étapes opérationnelles importantes.

Les scripts inclus peuvent-ils être exécutés directement sans risque ?

Relisez-les avant utilisation. Les scripts semblent être des échafaudages CLI génériques, avec journalisation et méthodes d’exécution placeholder. Ils constituent de bons points de départ pour créer votre propre pipeline de déploiement, suite de monitoring ou builder RAG, mais ils ne remplacent pas une automatisation interne testée. Ajoutez validation de configuration, gestion des dépendances, tests, authentification, gestion des environnements et intégrations réelles avant de les utiliser en production.

Comment améliorer le skill senior-ml-engineer

Améliorer les résultats de senior-ml-engineer avec des contraintes

La meilleure façon d’améliorer les réponses de senior-ml-engineer est de fournir des contraintes mesurables. Au lieu de demander “a scalable design”, indiquez le QPS attendu, la latence p95, la taille du modèle, la disponibilité GPU, la fenêtre de batch, l’objectif de disponibilité, l’environnement cloud, les contraintes de conformité et la limite de coût. Ces détails modifient les choix de serving, la profondeur du monitoring et la politique de rollback.

Modes d’échec fréquents à surveiller

Le skill peut trop généraliser si vous omettez votre stack, supposer Kubernetes alors qu’un service plus simple suffirait, ou proposer du monitoring avant que vous disposiez de labels de vérité terrain fiables. Les réponses RAG peuvent aussi devenir trop abstraites si vous ne fournissez pas le volume documentaire, la fréquence de mise à jour, le type de requêtes et des exemples d’évaluation. Pour l’intégration LLM, l’absence de budget de tokens et de détails sur les limites de débit conduit souvent à des conceptions irréalistes en matière de coûts et de retries.

Itérer après la première réponse

Demandez une deuxième passe qui transforme la recommandation en artefacts : checklist de déploiement, Dockerfile, contrat d’API, ébauche de manifeste Kubernetes, métriques de dashboard de monitoring, seuils d’alerte ou étapes CI/CD. Demandez ensuite au skill d’identifier les risques et les hypothèses manquantes. Cela permet de faire passer le senior-ml-engineer guide du conseil général à un plan d’implémentation que votre équipe peut relire.

Adapter les références du dépôt à votre environnement

Utilisez les documents de référence comme des cadres de décision, pas comme une architecture figée. Si vous exécutez de petits modèles CPU, privilégiez un déploiement FastAPI plus simple avant d’ajouter une infrastructure de serving lourde. Si vous faites de l’inférence GPU à fort débit, demandez au skill d’évaluer Triton, le batching et l’autoscaling. Si vous construisez un système RAG, adaptez le chunking, le reranking et le choix de la base vectorielle à votre corpus au lieu de recopier des valeurs par défaut.