senior-ml-engineer

Visão geral da skill senior-ml-engineer

Para que serve a senior-ml-engineer

A skill senior-ml-engineer é uma assistente de engenharia de ML em produção para transformar modelos treinados, recursos com LLM e protótipos de RAG em sistemas implantáveis. Ela se concentra em decisões de MLOps: empacotamento de modelos, arquitetura de serving, monitoramento, detecção de drift, rollout canário, planejamento de feature store, desenho de recuperação em RAG, confiabilidade de APIs de LLM e controle de custos.

Usuários e projetos mais indicados

Use esta skill quando você já tiver um modelo, um pipeline de embeddings ou uma ideia de produto com LLM e precisar de um plano de implementação que leve a operação em conta. Ela é mais útil para ML engineers, backend engineers, equipes de plataforma e lideranças técnicas que precisam de orientação prática para Docker, Kubernetes, MLflow, fluxos no estilo Kubeflow, bancos vetoriais, monitoramento ou APIs de inferência em produção.

O que diferencia esta skill

Em comparação com um prompt genérico de ML, a senior-ml-engineer skill é organizada em torno de fluxos de produção, não de experimentação de modelos. O repositório inclui guias de referência para padrões de MLOps em produção, integração com LLM e arquitetura de RAG, além de estruturas iniciais de scripts para deployment, monitoramento e construção de RAG. Seu maior valor é ajudar um agente a fazer perguntas operacionais: meta de latência, divisão de tráfego, comportamento de fallback, observabilidade, gates de avaliação e gatilhos de retreinamento.

Observação importante antes de adotar

Os scripts Python incluídos são estruturas iniciais, não ferramentas de produção prontas para uso. Eles oferecem logging, carregamento de configuração e estrutura de CLI, mas você deve prever a inclusão de validação real, integrações com cloud, lógica de testes, controles de segurança e código específico do seu deployment. Instale esta skill para planejamento e apoio estruturado de engenharia, não como uma plataforma de MLOps plug-and-play.

Como usar a skill senior-ml-engineer

Instalação da senior-ml-engineer e caminho do repositório

Instale a skill a partir do repositório de skills no GitHub com:

npx skills add alirezarezvani/claude-skills --skill senior-ml-engineer

Depois, inspecione o código-fonte em engineering-team/skills/senior-ml-engineer. Leia primeiro SKILL.md para entender os gatilhos e o escopo do fluxo de trabalho. Em seguida, abra references/mlops_production_patterns.md, references/llm_integration_guide.md e references/rag_system_architecture.md conforme seu caso de uso. Trate scripts/model_deployment_pipeline.py, scripts/ml_monitoring_suite.py e scripts/rag_system_builder.py como templates para adaptar, não como automação finalizada.

Informações que a skill precisa receber

Para uma senior-ml-engineer usage de alta qualidade, forneça o contexto de produção, não apenas o tipo de modelo. Inclua:

• Framework do modelo e formato do artefato: PyTorch, TensorFlow, ONNX, TorchScript, SavedModel
• Destino de serving: REST API, inferência em batch, inferência com GPU, streaming, deployment em edge
• Infraestrutura: Docker, Kubernetes, provedor de cloud, CI/CD, registry, secrets manager
• SLOs: latência p95, throughput, uptime, taxa máxima de erro, teto de custo
• Plano de rollout: staging, percentual de canário, condição de rollback, requisitos de teste A/B
• Necessidades de monitoramento: drift, latência, qualidade dos dados, proxy de acurácia, loop de revisão humana
• Para RAG: tipos de documentos, restrições de chunking, banco vetorial, reranking, conjunto de avaliação
• Para APIs de LLM: opções de provedor, política de retry, modelo de fallback, orçamento de tokens, restrições de segurança

Transforme um pedido vago em um bom prompt

Prompt fraco: “Help me deploy my ML model.”

Prompt mais forte: “Use the senior-ml-engineer skill. I have a PyTorch fraud model exported as TorchScript, expected 80 requests/sec, p95 latency under 120 ms, deployed on Kubernetes with Docker images in GitHub Actions. Propose a staging-to-canary deployment plan, FastAPI or Triton serving choice, health checks, monitoring metrics, rollback criteria, and a minimal file layout. Assume model accuracy must be monitored using delayed labels available after 7 days.”

Isso funciona melhor porque a skill consegue mapear requisitos para gates concretos de deployment, tradeoffs de serving e desenho de monitoramento, em vez de entregar uma checklist genérica.

Fluxo sugerido para equipes de Machine Learning

Comece pela seleção de arquitetura e depois avance para os detalhes de implementação. Para serving de modelos, peça uma comparação entre FastAPI, Triton Inference Server, TensorFlow Serving e scoring em batch de acordo com suas necessidades de latência e throughput. Para MLOps, peça estágios de CI/CD, versionamento de artefatos, layout de registry, validação em staging, métricas de canário e limites para rollback. Para RAG, peça chunking, embedding, busca vetorial, reranking, montagem de prompt e avaliação de alucinação. Para integração com LLM, peça abstração de provedores, retries, tratamento de rate limit, observabilidade e estimativa de custos.

FAQ da skill senior-ml-engineer

A senior-ml-engineer é indicada para iniciantes em Machine Learning?

Ela pode ajudar iniciantes a entender o vocabulário de ML em produção, mas não é principalmente uma skill de treinamento ou tutoria em data science. Ela pressupõe que você está saindo dos notebooks e entrando em deployment, monitoramento ou desenho de sistemas. Se você precisa de ajuda para escolher uma arquitetura de modelo ou melhorar a acurácia do treinamento, use primeiro uma skill voltada a modelagem ou pesquisa.

Quando não devo usar esta skill?

Não use senior-ml-engineer como skill principal para análise exploratória de dados, descoberta de features, desenho acadêmico de modelos ou criação de um primeiro notebook. Ela também não é uma boa escolha se você precisa de instruções totalmente gerenciadas e específicas de uma plataforma sem informar sua stack. Por exemplo, “deploy this somewhere” é amplo demais; “deploy to EKS with Helm, Prometheus, and canary rollout” é um bom encaixe.

Qual é a diferença em relação a prompts comuns?

Prompts comuns tendem a gerar listas amplas de MLOps. Esta skill dá ao agente uma estrutura mais orientada à produção: formato de artefato, conteinerização, validação em staging, rollout canário, verificações de latência p95, limites de taxa de erro, drift de modelo, padrões de feature store, validação de RAG, lógica de retry e controle de custo de tokens. Essa estrutura reduz a chance de etapas operacionais importantes ficarem de fora.

Os scripts incluídos são seguros para executar diretamente?

Revise-os antes de usar. Os scripts parecem ser estruturas genéricas de CLI com logging e métodos de execução placeholder. Eles são bons pontos de partida para seu próprio pipeline de deployment, suíte de monitoramento ou builder de RAG, mas não substituem automações internas testadas. Adicione validação de configuração, gerenciamento de dependências, testes, autenticação, tratamento de ambientes e integrações reais antes de usá-los em produção.

Como melhorar a skill senior-ml-engineer

Melhore os resultados da senior-ml-engineer com restrições

A melhor forma de melhorar a saída de senior-ml-engineer é fornecer restrições mensuráveis. Em vez de pedir “a scalable design”, especifique QPS esperado, latência p95, tamanho do modelo, disponibilidade de GPU, janela de batch, meta de uptime, ambiente de cloud, restrições de compliance e limite de custo. Esses detalhes mudam as escolhas de serving, a profundidade do monitoramento e a política de rollback.

Modos de falha comuns para observar

A skill pode generalizar demais se você omitir sua stack, assumir Kubernetes quando um serviço mais simples bastaria ou propor monitoramento antes de você ter rótulos confiáveis de ground truth. Respostas sobre RAG também podem ficar abstratas demais se você não fornecer volume de documentos, frequência de atualização, tipo de consulta e exemplos de avaliação. Para integração com LLM, a falta de orçamento de tokens e detalhes de rate limit costuma levar a desenhos de custo e retry pouco realistas.

Itere depois da primeira resposta

Peça uma segunda rodada que transforme a recomendação em artefatos: checklist de deployment, Dockerfile, contrato de API, esboço de manifesto Kubernetes, métricas de dashboard de monitoramento, limites de alerta ou estágios de CI/CD. Depois, peça à skill que identifique riscos e premissas ausentes. Isso transforma o senior-ml-engineer guide de aconselhamento em um plano de implementação que sua equipe consegue revisar.

Adapte as referências do repositório ao seu ambiente

Use os documentos de referência como frameworks de decisão, não como arquitetura fixa. Se você roda modelos pequenos em CPU, prefira um deployment mais simples com FastAPI antes de adicionar infraestrutura pesada de serving. Se você roda inferência em GPU com alto throughput, peça à skill para avaliar Triton, batching e autoscaling. Se você constrói RAG, adapte chunking, reranking e escolhas de banco vetorial ao seu corpus, em vez de copiar defaults.