Data Pipelines

spark-optimization は、Apache Spark ジョブの遅さを partitioning、shuffle、skew、caching、memory tuning の観点から診断するための実践ガイドです。wshobson/agents からスキルを導入し、SKILL.md を確認しながら、Spark UI の症状、クラスタ設定、クエリ傾向に基づいて根拠のある改善策を適用したいときに役立ちます。

dbt-transformation-patternsは、staging・intermediate・martsの各レイヤーを軸に、テスト、ドキュメント、incremental modelの設計方針まで含めてdbtプロジェクトを整理する際に役立つスキルです。導入前の検討、新規repoのひな形作成、既存SQLのリファクタリングを通じて、Database Engineeringチーム向けにより整ったanalytics engineeringパターンへ移行したい場面に向いています。

airflow-dag-patternsは、本番運用を前提としたApache Airflow DAGの設計に役立つスキルです。タスク設計のパターン、依存関係、operators、sensors、テスト、定期実行ジョブのデプロイ指針まで、実務で使いやすい形で整理されています。