跳到主要内容

1 / 4概念

Data Pipelines

数据管道把“什么时候跑、按什么顺序跑、失败了怎么重跑”变成可执行的依赖图。判断标准不是“用 dbt 还是 Airflow”,而是任务是 转换 还是 编排、是否幂等、回填会不会打爆上游。

1 概念​

1.1 一句话定义​

数据管道是一组带依赖的任务:上游产出表/分区,下游消费并产出新表/指标。dbt 负责“用 SQL 描述转换”,Airflow 负责“按时间/依赖调度任务”;两者经常组合,而不是互相替代。

1.2 它解决什么问题​

  • 依赖顺序:ods → dwd → dws → ads,不能靠人工记得先后。
  • 定时/触发:每天/每小时/上游就绪后运行。
  • 失败重试与回填:失败任务重跑,历史分区可补。
  • 可观测/可审计:谁跑了什么、耗时、产出、数据质量。

1.3 不属于本页的内容​

主题去哪
Spark 作业内部 DAG/shuffleBatch Processing
Flink 状态/事件时间Stream Processing
表格式/ACID/时间旅行Lakehouse
关系库 SQL/事务Relational Databases
调度平台底层(K8s/队列)Kubernetes / Messaging

1.4 关键术语​

术语含义容易混淆的点
DAG有向无环图,任务依赖不是“必须并行”
OperatorAirflow 的任务模板不是“函数”
Sensor等待外部条件不是“定时器”
幂等重跑产生相同结果不是“可重试”
增量模型只处理新分区/新行不是“永远只追加”
物化把模型结果写表/视图dbt 的 materialization
回填补历史分区不是“重跑今天”
数据新鲜度产出距现在多久不是“任务成功率”