Data Pipelines

Data Pipelines taxonomy generated by the site skill importer.

3 skills
W
spark-optimization

by wshobson

spark-optimization ist ein praxisnaher Leitfaden, um langsame Apache-Spark-Jobs zu analysieren – mit Fokus auf Partitionierung, Shuffle, Skew, Caching und Speicher-Tuning. Nutzen Sie ihn, um die Skill aus wshobson/agents zu installieren, `SKILL.md` zu lesen und auf Basis von Symptomen in der Spark UI, Cluster-Einstellungen und Query-Mustern fundierte Optimierungen abzuleiten.

Performance Optimization
Favorites 0GitHub 32.6k
W
dbt-transformation-patterns

by wshobson

dbt-transformation-patterns unterstützt Agents dabei, dbt-Projekte mit Staging-, Intermediate- und Marts-Layern zu strukturieren und gibt Hinweise zu Tests, Dokumentation und inkrementellen Modellen. Nutzen Sie das Skill, um Installationen zu planen, neue Repos aufzusetzen oder SQL in sauberere Analytics-Engineering-Patterns für Database-Engineering-Teams zu überführen.

Database Engineering
Favorites 0GitHub 32.6k
W
airflow-dag-patterns

by wshobson

airflow-dag-patterns unterstützt beim Entwurf produktionsreifer Apache Airflow DAGs mit robusteren Task-Mustern, Abhängigkeiten, Operatoren, Sensoren sowie Empfehlungen zu Tests und Deployment für geplante Jobs.

Scheduled Jobs
Favorites 0GitHub 32.6k