Data Pipelines

clickhouse-io は、スキーマ設計、分析SQL、取り込みパターン、パフォーマンスチューニングに特化した ClickHouse 向けスキルです。MergeTree の選定、パーティショニング、マテリアライズドビュー、ワークロード別のクエリ最適化を検討する際に役立ちます。

airflow-dag-patternsは、本番運用を前提としたApache Airflow DAGの設計に役立つスキルです。タスク設計のパターン、依存関係、operators、sensors、テスト、定期実行ジョブのデプロイ指針まで、実務で使いやすい形で整理されています。

dbt-transformation-patternsは、staging・intermediate・martsの各レイヤーを軸に、テスト、ドキュメント、incremental modelの設計方針まで含めてdbtプロジェクトを整理する際に役立つスキルです。導入前の検討、新規repoのひな形作成、既存SQLのリファクタリングを通じて、Database Engineeringチーム向けにより整ったanalytics engineeringパターンへ移行したい場面に向いています。

spark-optimization は、Apache Spark ジョブの遅さを partitioning、shuffle、skew、caching、memory tuning の観点から診断するための実践ガイドです。wshobson/agents からスキルを導入し、SKILL.md を確認しながら、Spark UI の症状、クラスタ設定、クエリ傾向に基づいて根拠のある改善策を適用したいときに役立ちます。

data-analytics skill は、ETL、ELT、データレイク、データウェアハウス、ストリーミングパイプライン、ログ分析、BI ダッシュボードを含むデータ分析ワークフロー向けの PlantUML 図を作成します。ソースからデスティネーションへの流れが明確に伝わる表現、AWS の分析・データベース用ステンシル、そして一般的なソフトウェア図やクラウドアーキテクチャ図ではなく、実務で使える data-analytics ガイド出力に最適化されています。

ml-pipeline-workflow は、データ準備、学習、検証、デプロイ、監視までを含むエンドツーエンドの MLOps パイプライン設計を実践的に案内するガイドです。再現性のあるワークフロー自動化に向けたオーケストレーションの設計パターンも整理されています。