Data Pipelines

Data Pipelines taxonomy generated by the site skill importer.

3 skills
W
spark-optimization

by wshobson

spark-optimization은 Apache Spark 작업이 느려지는 원인을 partitioning, shuffle, skew, caching, memory tuning 관점에서 진단하는 실전형 가이드입니다. wshobson/agents에서 이 스킬을 설치하고, SKILL.md를 읽은 뒤, Spark UI 증상과 클러스터 설정, 쿼리 패턴을 바탕으로 근거 있는 개선 방법을 적용할 때 유용합니다.

Performance Optimization
Favorites 0GitHub 32.6k
W
dbt-transformation-patterns

by wshobson

dbt-transformation-patterns는 staging, intermediate, marts 레이어를 중심으로 dbt 프로젝트를 구조화하고, 테스트, 문서화, incremental model 운영 방향까지 정리할 수 있도록 돕습니다. 설치 적합성을 검토하거나, 새 repo를 스캐폴딩하거나, 기존 SQL을 더 깔끔한 analytics engineering 패턴으로 리팩터링하려는 Database Engineering 팀에 유용합니다.

Database Engineering
Favorites 0GitHub 32.6k
W
airflow-dag-patterns

by wshobson

airflow-dag-patterns는 운영 환경에 바로 적용할 수 있는 Apache Airflow DAG를 설계할 때 유용한 스킬로, 더 견고한 태스크 패턴, 의존성, operators, sensors, 테스트, 배포 가이드를 통해 스케줄링 작업 구성을 돕습니다.

Scheduled Jobs
Favorites 0GitHub 32.6k