Data Engineering

clickhouse-io は、スキーマ設計、分析SQL、取り込みパターン、パフォーマンスチューニングに特化した ClickHouse 向けスキルです。MergeTree の選定、パーティショニング、マテリアライズドビュー、ワークロード別のクエリ最適化を検討する際に役立ちます。

airflow-dag-patternsは、本番運用を前提としたApache Airflow DAGの設計に役立つスキルです。タスク設計のパターン、依存関係、operators、sensors、テスト、定期実行ジョブのデプロイ指針まで、実務で使いやすい形で整理されています。

data-quality-frameworks は、dbt tests、Great Expectations、data contracts を使って本番データの検証計画を立てたいチーム向けのスキルです。適切なチェックの選定、テストピラミッドへの整理、そして Data Cleaning やパイプライン信頼性を支える CI/CD 対応のデータ品質ワークフロー設計に役立ちます。

dbt-transformation-patternsは、staging・intermediate・martsの各レイヤーを軸に、テスト、ドキュメント、incremental modelの設計方針まで含めてdbtプロジェクトを整理する際に役立つスキルです。導入前の検討、新規repoのひな形作成、既存SQLのリファクタリングを通じて、Database Engineeringチーム向けにより整ったanalytics engineeringパターンへ移行したい場面に向いています。

spark-optimization は、Apache Spark ジョブの遅さを partitioning、shuffle、skew、caching、memory tuning の観点から診断するための実践ガイドです。wshobson/agents からスキルを導入し、SKILL.md を確認しながら、Spark UI の症状、クラスタ設定、クエリ傾向に基づいて根拠のある改善策を適用したいときに役立ちます。

data-analytics skill は、ETL、ELT、データレイク、データウェアハウス、ストリーミングパイプライン、ログ分析、BI ダッシュボードを含むデータ分析ワークフロー向けの PlantUML 図を作成します。ソースからデスティネーションへの流れが明確に伝わる表現、AWS の分析・データベース用ステンシル、そして一般的なソフトウェア図やクラウドアーキテクチャ図ではなく、実務で使える data-analytics ガイド出力に最適化されています。

tinybird-python-sdk-guidelines は、Python ベースの Tinybird プロジェクトで tinybird-sdk を導入・活用するためのスキルです。datasource、endpoint、client、connection、旧形式ファイルからの移行、さらに build / deploy のガイダンスを含むバックエンド開発ワークフローまでカバーします。

lamindb スキルは、オープンソースの生物学データ基盤 LaminDB を使いこなすためのものです。データを検索可能・追跡可能・再現可能・FAIR に保ちながら扱えます。Data Analysis における lamindb、メタデータのキュレーション、オントロジーに基づくアノテーション、スキーマ検証、ノートブックやパイプラインをまたぐ系譜を意識したワークフローに活用できます。