Data Pipelines

spark-optimization 是一份實用指南，協助診斷執行緩慢的 Apache Spark 工作，重點涵蓋 partitioning、shuffle、skew、caching 與記憶體調校。你可以用它從 wshobson/agents 安裝此技能、閱讀 SKILL.md，並根據 Spark UI 徵兆、叢集設定與查詢模式，採取有憑有據的最佳化修正。

dbt-transformation-patterns 可協助代理將 dbt 專案整理為 staging、intermediate 與 marts 分層，並涵蓋 testing、documentation 與 incremental model 的實務指引。適合用來評估是否安裝、建立新 repo 骨架，或將既有 SQL 重構為更清晰的 analytics engineering 模式，特別適用於 Database Engineering 團隊。

airflow-dag-patterns 可協助設計可用於正式環境的 Apache Airflow DAG，提供更完善的任務模式、相依關係、operators、sensors、測試與排程工作部署指引。