Data Engineering

spark-optimization là hướng dẫn thực tiễn để chẩn đoán các job Apache Spark chạy chậm, tập trung vào partitioning, shuffle, skew, caching và tinh chỉnh bộ nhớ. Hãy dùng hướng dẫn này để cài skill từ wshobson/agents, đọc SKILL.md và áp dụng các cách khắc phục dựa trên bằng chứng từ dấu hiệu trong Spark UI, cấu hình cluster và mẫu truy vấn.

dbt-transformation-patterns giúp agent tổ chức dự án dbt theo các lớp staging, intermediate và marts, đồng thời đưa ra hướng dẫn về testing, tài liệu hóa và mô hình incremental. Hãy dùng skill này để lên kế hoạch cài đặt, dựng khung repo mới hoặc tái cấu trúc SQL theo các pattern analytics engineering gọn gàng hơn cho các nhóm Database Engineering.

Skill data-quality-frameworks giúp các nhóm lập kế hoạch kiểm định dữ liệu production bằng dbt tests, Great Expectations và data contracts. Hãy dùng skill này để chọn đúng loại kiểm tra, ánh xạ chúng vào testing pyramid và định hướng quy trình data quality sẵn sàng cho CI/CD nhằm phục vụ Data Cleaning và tăng độ tin cậy của pipeline.

airflow-dag-patterns giúp thiết kế Apache Airflow DAG sẵn sàng cho production với các pattern tác vụ, phụ thuộc, operators, sensors, kiểm thử và hướng dẫn triển khai tốt hơn cho các job chạy theo lịch.