Data Engineering

Data Engineering taxonomy generated by the site skill importer.

4 skills
W
spark-optimization

by wshobson

spark-optimization es una guía práctica para diagnosticar trabajos lentos de Apache Spark mediante particionado, shuffle, skew, caché y ajuste de memoria. Úsala para instalar la skill desde wshobson/agents, revisar SKILL.md y aplicar correcciones basadas en evidencia a partir de síntomas en Spark UI, configuración del clúster y patrones de consulta.

Performance Optimization
Favorites 0GitHub 32.6k
W
dbt-transformation-patterns

by wshobson

dbt-transformation-patterns ayuda a los agentes a estructurar proyectos de dbt con capas de staging, intermediate y marts, además de pautas para testing, documentación y modelos incrementales. Úsalo para evaluar la instalación, preparar nuevos repositorios o refactorizar SQL hacia patrones más limpios de analytics engineering para equipos de Database Engineering.

Database Engineering
Favorites 0GitHub 32.6k
W
data-quality-frameworks

by wshobson

La skill data-quality-frameworks ayuda a los equipos a planificar la validación de datos en producción con pruebas de dbt, Great Expectations y contratos de datos. Úsala para elegir las comprobaciones adecuadas, ubicarlas en una pirámide de testing y orientar flujos de calidad de datos preparados para CI/CD en tareas de Data Cleaning y fiabilidad de pipelines.

Data Cleaning
Favorites 0GitHub 32.6k
W
airflow-dag-patterns

by wshobson

airflow-dag-patterns ayuda a diseñar DAGs de Apache Airflow listos para producción, con mejores patrones de tareas, dependencias, operators, sensors, testing y pautas de despliegue para trabajos programados.

Scheduled Jobs
Favorites 0GitHub 32.6k