Data Pipelines

clickhouse-io é uma skill focada em ClickHouse para modelagem de schema, SQL analítico, padrões de ingestão e ajuste de performance. Use-a para orientar escolhas de MergeTree, particionamento, materialized views e otimização de consultas conforme a carga de trabalho.

airflow-dag-patterns ajuda a projetar DAGs do Apache Airflow prontas para produção, com padrões de tarefas mais robustos, dependências, operators, sensors, testes e orientações de deploy para jobs agendados.

dbt-transformation-patterns ajuda agentes a estruturar projetos dbt com camadas de staging, intermediate e marts, além de orientações sobre testes, documentação e modelos incrementais. Use para avaliar a instalação, iniciar novos repositórios ou refatorar SQL em padrões mais organizados de analytics engineering para equipes de Engenharia de Dados.

spark-optimization é um guia prático para diagnosticar jobs lentos no Apache Spark com foco em particionamento, shuffle, skew, caching e ajuste de memória. Use-o para instalar a skill de wshobson/agents, ler o SKILL.md e aplicar correções baseadas em evidências a partir de sintomas no Spark UI, configurações do cluster e padrões de consulta.

A skill data-analytics cria diagramas PlantUML para fluxos de trabalho de análise de dados, incluindo ETL, ELT, data lakes, data warehouses, pipelines de streaming, análise de logs e dashboards de BI. Ela é otimizada para deixar claro o fluxo de origem até destino, usar stencils de analytics e banco de dados da AWS, e gerar saídas práticas para guia de data analytics — não diagramas genéricos de software ou arquitetura de nuvem.

ml-pipeline-workflow é um guia prático para projetar pipelines de MLOps de ponta a ponta, cobrindo preparação de dados, treinamento, validação, implantação e monitoramento, com padrões de orquestração para automatizar fluxos de trabalho repetíveis.