Data Pipelines

Data Pipelines taxonomy generated by the site skill importer.

6 skills
A
clickhouse-io

par affaan-m

clickhouse-io est une skill centrée sur ClickHouse pour la conception de schémas, le SQL analytique, les patterns d’ingestion et l’optimisation des performances. Utilisez-la pour guider le choix des MergeTree, le partitionnement, les vues matérialisées et l’optimisation des requêtes selon la charge de travail.

Database Engineering
Favoris 0GitHub 156.1k
W
airflow-dag-patterns

par wshobson

airflow-dag-patterns aide à concevoir des DAG Apache Airflow prêts pour la production, avec de meilleurs patterns de tâches, dépendances, opérateurs, capteurs, tests et conseils de déploiement pour les jobs planifiés.

Scheduled Jobs
Favoris 0GitHub 32.6k
W
dbt-transformation-patterns

par wshobson

dbt-transformation-patterns aide les agents à structurer des projets dbt avec des couches staging, intermediate et marts, ainsi qu’avec des recommandations sur les tests, la documentation et les modèles incrémentaux. Utilisez-la pour préparer une installation, poser l’ossature d’un nouveau repo ou refactorer du SQL vers des patterns d’analytics engineering plus propres pour les équipes Database Engineering.

Database Engineering
Favoris 0GitHub 32.6k
W
spark-optimization

par wshobson

spark-optimization est un guide pratique pour diagnostiquer les jobs Apache Spark lents grâce au partitionnement, au shuffle, au skew, au caching et au réglage mémoire. Utilisez-le pour installer la skill depuis wshobson/agents, consulter SKILL.md et appliquer des correctifs fondés sur des indices concrets issus de Spark UI, des paramètres du cluster et des schémas de requêtes.

Performance Optimization
Favoris 0GitHub 32.6k
M
data-analytics

par markdown-viewer

La skill data-analytics crée des diagrammes PlantUML pour les workflows d’analyse de données, notamment ETL, ELT, data lakes, entrepôts de données, pipelines de streaming, analyse de logs et tableaux de bord BI. Elle est optimisée pour un flux clair de la source vers la destination, les stencils AWS dédiés à l’analytics et aux bases de données, ainsi que pour des sorties pratiques orientées guide data-analytics — et non pour des diagrammes génériques de logiciel ou d’architecture cloud.

Data Analysis
Favoris 0GitHub 1.1k
W
ml-pipeline-workflow

par wshobson

ml-pipeline-workflow est un guide pratique pour concevoir des pipelines MLOps de bout en bout couvrant la préparation des données, l'entraînement, la validation, le déploiement et le monitoring, avec des modèles d'orchestration pour automatiser des workflows reproductibles.

Workflow Automation
Favoris 0GitHub 0
Data Pipelines