Data Pipelines

clickhouse-io는 스키마 설계, 분석 SQL, 데이터 적재 패턴, 성능 튜닝에 초점을 맞춘 ClickHouse 전용 스킬입니다. MergeTree 선택, 파티셔닝, materialized views, 그리고 워크로드별 쿼리 최적화 방향을 잡을 때 유용합니다.

airflow-dag-patterns는 운영 환경에 바로 적용할 수 있는 Apache Airflow DAG를 설계할 때 유용한 스킬로, 더 견고한 태스크 패턴, 의존성, operators, sensors, 테스트, 배포 가이드를 통해 스케줄링 작업 구성을 돕습니다.

dbt-transformation-patterns는 staging, intermediate, marts 레이어를 중심으로 dbt 프로젝트를 구조화하고, 테스트, 문서화, incremental model 운영 방향까지 정리할 수 있도록 돕습니다. 설치 적합성을 검토하거나, 새 repo를 스캐폴딩하거나, 기존 SQL을 더 깔끔한 analytics engineering 패턴으로 리팩터링하려는 Database Engineering 팀에 유용합니다.

spark-optimization은 Apache Spark 작업이 느려지는 원인을 partitioning, shuffle, skew, caching, memory tuning 관점에서 진단하는 실전형 가이드입니다. wshobson/agents에서 이 스킬을 설치하고, SKILL.md를 읽은 뒤, Spark UI 증상과 클러스터 설정, 쿼리 패턴을 바탕으로 근거 있는 개선 방법을 적용할 때 유용합니다.

data-analytics 스킬은 ETL, ELT, 데이터 레이크, 데이터 웨어하우스, 스트리밍 파이프라인, 로그 분석, BI 대시보드를 포함한 데이터 분석 워크플로용 PlantUML 다이어그램을 생성합니다. 일반적인 소프트웨어나 클라우드 아키텍처 다이어그램이 아니라, 소스에서 대상까지의 흐름이 명확한 표현, AWS 분석/데이터베이스 스텐실, 실무형 data-analytics 가이드 출력에 맞춰 최적화되어 있습니다.

ml-pipeline-workflow는 데이터 준비, 학습, 검증, 배포, 모니터링까지 아우르는 엔드투엔드 MLOps 파이프라인을 설계할 때 참고하기 좋은 실무형 가이드입니다. 반복 가능한 워크플로 자동화를 위한 오케스트레이션 패턴도 함께 다룹니다.