Data Pipelines

Data Pipelines taxonomy generated by the site skill importer.

6 Skills
A
clickhouse-io

von affaan-m

clickhouse-io ist eine auf ClickHouse spezialisierte Skill für Schemadesign, analytisches SQL, Ingestion-Muster und Performance-Tuning. Nutzen Sie sie, um MergeTree-Entscheidungen, Partitionierung, materialisierte Sichten und die workload-spezifische Abfrageoptimierung gezielt zu steuern.

Database Engineering
Favoriten 0GitHub 156.1k
W
airflow-dag-patterns

von wshobson

airflow-dag-patterns unterstützt beim Entwurf produktionsreifer Apache Airflow DAGs mit robusteren Task-Mustern, Abhängigkeiten, Operatoren, Sensoren sowie Empfehlungen zu Tests und Deployment für geplante Jobs.

Scheduled Jobs
Favoriten 0GitHub 32.6k
W
dbt-transformation-patterns

von wshobson

dbt-transformation-patterns unterstützt Agents dabei, dbt-Projekte mit Staging-, Intermediate- und Marts-Layern zu strukturieren und gibt Hinweise zu Tests, Dokumentation und inkrementellen Modellen. Nutzen Sie das Skill, um Installationen zu planen, neue Repos aufzusetzen oder SQL in sauberere Analytics-Engineering-Patterns für Database-Engineering-Teams zu überführen.

Database Engineering
Favoriten 0GitHub 32.6k
W
spark-optimization

von wshobson

spark-optimization ist ein praxisnaher Leitfaden, um langsame Apache-Spark-Jobs zu analysieren – mit Fokus auf Partitionierung, Shuffle, Skew, Caching und Speicher-Tuning. Nutzen Sie ihn, um die Skill aus wshobson/agents zu installieren, `SKILL.md` zu lesen und auf Basis von Symptomen in der Spark UI, Cluster-Einstellungen und Query-Mustern fundierte Optimierungen abzuleiten.

Performance Optimization
Favoriten 0GitHub 32.6k
M
data-analytics

von markdown-viewer

Das data-analytics-Skill erstellt PlantUML-Diagramme für Data-Analytics-Workflows, darunter ETL, ELT, Data Lakes, Warehouses, Streaming-Pipelines, Log-Analysen und BI-Dashboards. Es ist auf klare Flüsse von Quelle zu Ziel, AWS-Analytics-/Datenbank-Stencils und praxistaugliche Data-Analytics-Leitfäden optimiert – nicht auf generische Software- oder Cloud-Architekturdiagramme.

Data Analysis
Favoriten 0GitHub 1.1k
W
ml-pipeline-workflow

von wshobson

ml-pipeline-workflow ist ein praxisnaher Leitfaden für die Konzeption durchgängiger MLOps-Pipelines für Datenaufbereitung, Training, Validierung, Deployment und Monitoring – inklusive Orchestrierungsmustern für wiederholbare Workflow-Automatisierung.

Workflow Automation
Favoriten 0GitHub 0
Data Pipelines