Data Pipelines

Data Pipelines taxonomy generated by the site skill importer.

6 个技能
A
clickhouse-io

作者 affaan-m

clickhouse-io 是一款面向 ClickHouse 的技能,覆盖 schema 设计、分析型 SQL、数据摄取模式和性能调优。可用于指导 MergeTree 选型、分区设计、materialized views 以及面向具体工作负载的查询优化。

数据库工程
收藏 0GitHub 156.1k
W
airflow-dag-patterns

作者 wshobson

airflow-dag-patterns 可帮助你设计可用于生产环境的 Apache Airflow DAG,提供更完善的任务模式、依赖关系、operators、sensors、测试与定时作业部署指导。

定时任务
收藏 0GitHub 32.6k
W
dbt-transformation-patterns

作者 wshobson

dbt-transformation-patterns 可帮助智能体按 staging、intermediate 和 marts 分层来组织 dbt 项目,并提供测试、文档和增量模型实践指导。适合用于安装前评估、搭建新 repo,或将 SQL 重构为更清晰的 analytics engineering 模式,尤其适合 Database Engineering 团队参考。

数据库工程
收藏 0GitHub 32.6k
W
spark-optimization

作者 wshobson

spark-optimization 是一份实用指南,帮助诊断运行缓慢的 Apache Spark 作业,重点覆盖 partitioning、shuffle、skew、caching 和 memory tuning。你可以用它从 wshobson/agents 安装该 skill,阅读 SKILL.md,并结合 Spark UI 症状、集群配置与查询模式,采用有依据的优化方案。

性能优化
收藏 0GitHub 32.6k
M
data-analytics

作者 markdown-viewer

data-analytics 技能可生成用于数据分析工作流的 PlantUML 图,包括 ETL、ELT、数据湖、数据仓库、流式管道、日志分析和 BI 仪表盘。它针对清晰的源到目标流向、AWS 分析/数据库图形符号,以及实用的数据分析指南式输出进行了优化,而不是通用的软件图或云架构图。

数据分析
收藏 0GitHub 1.1k
W
ml-pipeline-workflow

作者 wshobson

ml-pipeline-workflow 是一份实用指南,帮助你设计覆盖数据准备、训练、验证、部署与监控的端到端 MLOps 流水线,并提供适合构建可重复工作流自动化的编排模式。

工作流自动化
收藏 0GitHub 0
Data Pipelines