Data Pipelines

Data Pipelines taxonomy generated by the site skill importer.

3 skills
W
spark-optimization

by wshobson

spark-optimization é um guia prático para diagnosticar jobs lentos no Apache Spark com foco em particionamento, shuffle, skew, caching e ajuste de memória. Use-o para instalar a skill de wshobson/agents, ler o SKILL.md e aplicar correções baseadas em evidências a partir de sintomas no Spark UI, configurações do cluster e padrões de consulta.

Performance Optimization
Favorites 0GitHub 32.6k
W
dbt-transformation-patterns

by wshobson

dbt-transformation-patterns ajuda agentes a estruturar projetos dbt com camadas de staging, intermediate e marts, além de orientações sobre testes, documentação e modelos incrementais. Use para avaliar a instalação, iniciar novos repositórios ou refatorar SQL em padrões mais organizados de analytics engineering para equipes de Engenharia de Dados.

Database Engineering
Favorites 0GitHub 32.6k
W
airflow-dag-patterns

by wshobson

airflow-dag-patterns ajuda a projetar DAGs do Apache Airflow prontas para produção, com padrões de tarefas mais robustos, dependências, operators, sensors, testes e orientações de deploy para jobs agendados.

Scheduled Jobs
Favorites 0GitHub 32.6k