Data Engineering

spark-optimization은 Apache Spark 작업이 느려지는 원인을 partitioning, shuffle, skew, caching, memory tuning 관점에서 진단하는 실전형 가이드입니다. wshobson/agents에서 이 스킬을 설치하고, SKILL.md를 읽은 뒤, Spark UI 증상과 클러스터 설정, 쿼리 패턴을 바탕으로 근거 있는 개선 방법을 적용할 때 유용합니다.

dbt-transformation-patterns는 staging, intermediate, marts 레이어를 중심으로 dbt 프로젝트를 구조화하고, 테스트, 문서화, incremental model 운영 방향까지 정리할 수 있도록 돕습니다. 설치 적합성을 검토하거나, 새 repo를 스캐폴딩하거나, 기존 SQL을 더 깔끔한 analytics engineering 패턴으로 리팩터링하려는 Database Engineering 팀에 유용합니다.

data-quality-frameworks 스킬은 팀이 dbt tests, Great Expectations, 데이터 계약을 활용해 운영 환경의 데이터 검증을 설계하도록 돕습니다. 어떤 검사를 선택할지 정하고, 이를 테스트 피라미드에 매핑하며, Data Cleaning과 파이프라인 신뢰성을 위한 CI/CD 대응 데이터 품질 워크플로를 구성할 때 유용합니다.

airflow-dag-patterns는 운영 환경에 바로 적용할 수 있는 Apache Airflow DAG를 설계할 때 유용한 스킬로, 더 견고한 태스크 패턴, 의존성, operators, sensors, 테스트, 배포 가이드를 통해 스케줄링 작업 구성을 돕습니다.