Data Engineering

spark-optimization 是一份實用指南，協助診斷執行緩慢的 Apache Spark 工作，重點涵蓋 partitioning、shuffle、skew、caching 與記憶體調校。你可以用它從 wshobson/agents 安裝此技能、閱讀 SKILL.md，並根據 Spark UI 徵兆、叢集設定與查詢模式，採取有憑有據的最佳化修正。

dbt-transformation-patterns 可協助代理將 dbt 專案整理為 staging、intermediate 與 marts 分層，並涵蓋 testing、documentation 與 incremental model 的實務指引。適合用來評估是否安裝、建立新 repo 骨架，或將既有 SQL 重構為更清晰的 analytics engineering 模式，特別適用於 Database Engineering 團隊。

data-quality-frameworks 技能可協助團隊規劃正式環境的資料驗證，涵蓋 dbt tests、Great Expectations 與 data contracts。可用來選擇合適的檢查項目、對應到 testing pyramid，並規劃適合 Data Cleaning 與資料管線穩定性的 CI/CD 資料品質工作流程。

airflow-dag-patterns 可協助設計可用於正式環境的 Apache Airflow DAG，提供更完善的任務模式、相依關係、operators、sensors、測試與排程工作部署指引。