Data Engineering

Data Engineering taxonomy generated by the site skill importer.

8 skills
A
clickhouse-io

por affaan-m

clickhouse-io es una skill centrada en ClickHouse para diseño de esquemas, SQL analítico, patrones de ingesta y ajuste de rendimiento. Úsala para orientar decisiones sobre MergeTree, particionado, vistas materializadas y optimización de consultas según la carga de trabajo.

Database Engineering
Favoritos 0GitHub 156.1k
W
airflow-dag-patterns

por wshobson

airflow-dag-patterns ayuda a diseñar DAGs de Apache Airflow listos para producción, con mejores patrones de tareas, dependencias, operators, sensors, testing y pautas de despliegue para trabajos programados.

Scheduled Jobs
Favoritos 0GitHub 32.6k
W
data-quality-frameworks

por wshobson

La skill data-quality-frameworks ayuda a los equipos a planificar la validación de datos en producción con pruebas de dbt, Great Expectations y contratos de datos. Úsala para elegir las comprobaciones adecuadas, ubicarlas en una pirámide de testing y orientar flujos de calidad de datos preparados para CI/CD en tareas de Data Cleaning y fiabilidad de pipelines.

Data Cleaning
Favoritos 0GitHub 32.6k
W
dbt-transformation-patterns

por wshobson

dbt-transformation-patterns ayuda a los agentes a estructurar proyectos de dbt con capas de staging, intermediate y marts, además de pautas para testing, documentación y modelos incrementales. Úsalo para evaluar la instalación, preparar nuevos repositorios o refactorizar SQL hacia patrones más limpios de analytics engineering para equipos de Database Engineering.

Database Engineering
Favoritos 0GitHub 32.6k
W
spark-optimization

por wshobson

spark-optimization es una guía práctica para diagnosticar trabajos lentos de Apache Spark mediante particionado, shuffle, skew, caché y ajuste de memoria. Úsala para instalar la skill desde wshobson/agents, revisar SKILL.md y aplicar correcciones basadas en evidencia a partir de síntomas en Spark UI, configuración del clúster y patrones de consulta.

Performance Optimization
Favoritos 0GitHub 32.6k
M
data-analytics

por markdown-viewer

La skill data-analytics crea diagramas PlantUML para flujos de trabajo de análisis de datos, incluidos ETL, ELT, data lakes, warehouses, pipelines de streaming, análisis de logs y dashboards de BI. Está optimizada para mostrar con claridad el flujo de origen a destino, para stencils de analítica y bases de datos de AWS, y para generar salidas prácticas orientadas a guías de data-analytics, no diagramas genéricos de software o arquitectura cloud.

Data Analysis
Favoritos 0GitHub 1.1k
T
tinybird-python-sdk-guidelines

por tinybirdco

tinybird-python-sdk-guidelines te ayuda a instalar y usar tinybird-sdk en proyectos Tinybird basados en Python. Cubre datasources, endpoints, clientes, conexiones, migración desde archivos heredados y flujos de desarrollo backend, con orientación para build y deploy.

Backend Development
Favoritos 0GitHub 16
K
lamindb

por K-Dense-AI

La skill de lamindb te ayuda a trabajar con LaminDB, un framework de código abierto para datos biológicos que hace que los datos sean consultables, trazables, reproducibles y FAIR. Úsala para lamindb en análisis de datos, curación de metadatos, anotación basada en ontologías, validación de esquemas y flujos de trabajo con conocimiento de linaje en notebooks y pipelines.

Data Analysis
Favoritos 0GitHub 0
Data Engineering