Data Engineering

clickhouse-io는 스키마 설계, 분석 SQL, 데이터 적재 패턴, 성능 튜닝에 초점을 맞춘 ClickHouse 전용 스킬입니다. MergeTree 선택, 파티셔닝, materialized views, 그리고 워크로드별 쿼리 최적화 방향을 잡을 때 유용합니다.

airflow-dag-patterns는 운영 환경에 바로 적용할 수 있는 Apache Airflow DAG를 설계할 때 유용한 스킬로, 더 견고한 태스크 패턴, 의존성, operators, sensors, 테스트, 배포 가이드를 통해 스케줄링 작업 구성을 돕습니다.

data-quality-frameworks 스킬은 팀이 dbt tests, Great Expectations, 데이터 계약을 활용해 운영 환경의 데이터 검증을 설계하도록 돕습니다. 어떤 검사를 선택할지 정하고, 이를 테스트 피라미드에 매핑하며, Data Cleaning과 파이프라인 신뢰성을 위한 CI/CD 대응 데이터 품질 워크플로를 구성할 때 유용합니다.

dbt-transformation-patterns는 staging, intermediate, marts 레이어를 중심으로 dbt 프로젝트를 구조화하고, 테스트, 문서화, incremental model 운영 방향까지 정리할 수 있도록 돕습니다. 설치 적합성을 검토하거나, 새 repo를 스캐폴딩하거나, 기존 SQL을 더 깔끔한 analytics engineering 패턴으로 리팩터링하려는 Database Engineering 팀에 유용합니다.

spark-optimization은 Apache Spark 작업이 느려지는 원인을 partitioning, shuffle, skew, caching, memory tuning 관점에서 진단하는 실전형 가이드입니다. wshobson/agents에서 이 스킬을 설치하고, SKILL.md를 읽은 뒤, Spark UI 증상과 클러스터 설정, 쿼리 패턴을 바탕으로 근거 있는 개선 방법을 적용할 때 유용합니다.

data-analytics 스킬은 ETL, ELT, 데이터 레이크, 데이터 웨어하우스, 스트리밍 파이프라인, 로그 분석, BI 대시보드를 포함한 데이터 분석 워크플로용 PlantUML 다이어그램을 생성합니다. 일반적인 소프트웨어나 클라우드 아키텍처 다이어그램이 아니라, 소스에서 대상까지의 흐름이 명확한 표현, AWS 분석/데이터베이스 스텐실, 실무형 data-analytics 가이드 출력에 맞춰 최적화되어 있습니다.

tinybird-python-sdk-guidelines는 Python 기반 Tinybird 프로젝트에서 tinybird-sdk를 설치하고 사용하는 데 도움을 줍니다. datasource, endpoint, client, connection, 레거시 파일 마이그레이션, 백엔드 개발 워크플로와 함께 빌드 및 배포 가이드를 다룹니다.

lamindb 스킬은 오픈소스 생물학 데이터 프레임워크인 LaminDB를 활용해 데이터를 질의 가능하고, 추적 가능하며, 재현 가능하고, FAIR 원칙에 맞게 다루도록 도와줍니다. Data Analysis용 lamindb, 메타데이터 큐레이션, 온톨로지 기반 주석, 스키마 검증, 그리고 노트북과 파이프라인 전반에서 계보 추적을 고려한 워크플로에 사용할 수 있습니다.