Data Engineering

spark-optimization は、Apache Spark ジョブの遅さを partitioning、shuffle、skew、caching、memory tuning の観点から診断するための実践ガイドです。wshobson/agents からスキルを導入し、SKILL.md を確認しながら、Spark UI の症状、クラスタ設定、クエリ傾向に基づいて根拠のある改善策を適用したいときに役立ちます。

dbt-transformation-patternsは、staging・intermediate・martsの各レイヤーを軸に、テスト、ドキュメント、incremental modelの設計方針まで含めてdbtプロジェクトを整理する際に役立つスキルです。導入前の検討、新規repoのひな形作成、既存SQLのリファクタリングを通じて、Database Engineeringチーム向けにより整ったanalytics engineeringパターンへ移行したい場面に向いています。

data-quality-frameworks は、dbt tests、Great Expectations、data contracts を使って本番データの検証計画を立てたいチーム向けのスキルです。適切なチェックの選定、テストピラミッドへの整理、そして Data Cleaning やパイプライン信頼性を支える CI/CD 対応のデータ品質ワークフロー設計に役立ちます。

airflow-dag-patternsは、本番運用を前提としたApache Airflow DAGの設計に役立つスキルです。タスク設計のパターン、依存関係、operators、sensors、テスト、定期実行ジョブのデプロイ指針まで、実務で使いやすい形で整理されています。