Data Engineering

clickhouse-io est une skill centrée sur ClickHouse pour la conception de schémas, le SQL analytique, les patterns d’ingestion et l’optimisation des performances. Utilisez-la pour guider le choix des MergeTree, le partitionnement, les vues matérialisées et l’optimisation des requêtes selon la charge de travail.

Snowflake Automation aide les agents à utiliser Composio MCP pour découvrir des bases de données Snowflake, parcourir les schémas et les tables, exécuter du SQL et gérer des workflows d’ingénierie de bases de données avec le contexte de rôle, de warehouse, de filtre, de délai d’expiration et de sécurité.

big-data-cloud-automation aide les agents à automatiser des tâches Big Data Cloud via Composio Rube MCP, en découvrant les schémas d’outils à jour, en vérifiant les connexions et en préparant une exécution plus sûre.

airflow-dag-patterns aide à concevoir des DAG Apache Airflow prêts pour la production, avec de meilleurs patterns de tâches, dépendances, opérateurs, capteurs, tests et conseils de déploiement pour les jobs planifiés.

La skill data-quality-frameworks aide les équipes à concevoir la validation des données en production avec les tests dbt, Great Expectations et les data contracts. Utilisez-la pour choisir les bons contrôles, les organiser selon une pyramide de tests et structurer des workflows de qualité des données compatibles CI/CD pour le Data Cleaning et la fiabilité des pipelines.

dbt-transformation-patterns aide les agents à structurer des projets dbt avec des couches staging, intermediate et marts, ainsi qu’avec des recommandations sur les tests, la documentation et les modèles incrémentaux. Utilisez-la pour préparer une installation, poser l’ossature d’un nouveau repo ou refactorer du SQL vers des patterns d’analytics engineering plus propres pour les équipes Database Engineering.

spark-optimization est un guide pratique pour diagnostiquer les jobs Apache Spark lents grâce au partitionnement, au shuffle, au skew, au caching et au réglage mémoire. Utilisez-le pour installer la skill depuis wshobson/agents, consulter SKILL.md et appliquer des correctifs fondés sur des indices concrets issus de Spark UI, des paramètres du cluster et des schémas de requêtes.

chief-data-officer-advisor est une skill CDO stratégique pour les décisions data en startup : droits des données d’entraînement IA, choix entre warehouse, lakehouse et mesh, valorisation des actifs de données client, préparation aux M&A et recrutement d’une équipe data. Elle inclut des références et des outils Python d’aide à la décision, sans viser l’ingénierie data tactique.

cdo-review est un skill de revue façon Chief Data Officer conçu pour mettre à l’épreuve, avant engagement, les plans de stratégie data, les droits sur les données d’entraînement IA, les choix d’architecture, la productisation des données, la due diligence M&A et le recrutement des équipes data.

La skill data-analytics crée des diagrammes PlantUML pour les workflows d’analyse de données, notamment ETL, ELT, data lakes, entrepôts de données, pipelines de streaming, analyse de logs et tableaux de bord BI. Elle est optimisée pour un flux clair de la source vers la destination, les stencils AWS dédiés à l’analytics et aux bases de données, ainsi que pour des sorties pratiques orientées guide data-analytics — et non pour des diagrammes génériques de logiciel ou d’architecture cloud.

tinybird-python-sdk-guidelines vous aide à installer et utiliser tinybird-sdk pour des projets Tinybird en Python. Le guide couvre les datasources, les endpoints, les clients, les connexions, la migration depuis les fichiers hérités, ainsi que les workflows de développement backend avec des indications pour la build et le déploiement.

Le skill lamindb vous aide à travailler avec LaminDB, un framework open source pour les données biologiques, conçu pour rendre les données interrogeables, traçables, reproductibles et conformes aux principes FAIR. Utilisez-le pour lamindb dans l’analyse de données, la curation des métadonnées, l’annotation fondée sur des ontologies, la validation de schéma et les workflows sensibles à la lignée des données dans les notebooks et les pipelines.