Data Engineering

spark-optimization 是一份实用指南，帮助诊断运行缓慢的 Apache Spark 作业，重点覆盖 partitioning、shuffle、skew、caching 和 memory tuning。你可以用它从 wshobson/agents 安装该 skill，阅读 SKILL.md，并结合 Spark UI 症状、集群配置与查询模式，采用有依据的优化方案。

dbt-transformation-patterns 可帮助智能体按 staging、intermediate 和 marts 分层来组织 dbt 项目，并提供测试、文档和增量模型实践指导。适合用于安装前评估、搭建新 repo，或将 SQL 重构为更清晰的 analytics engineering 模式，尤其适合 Database Engineering 团队参考。

data-quality-frameworks 技能可帮助团队使用 dbt tests、Great Expectations 和 data contracts 规划生产环境数据校验。你可以借助它选择合适的检查项、映射到测试金字塔，并为 Data Cleaning 与数据管道可靠性设计适合 CI/CD 的数据质量工作流。

airflow-dag-patterns 可帮助你设计可用于生产环境的 Apache Airflow DAG，提供更完善的任务模式、依赖关系、operators、sensors、测试与定时作业部署指导。