1 / 4概念
Data Pipelines
数据管道把“什么时候跑、按什么顺序跑、失败了怎么重跑”变成可执行的依赖图。判断标准不是“用 dbt 还是 Airflow”,而是任务是 转换 还是 编排、是否幂等、回填会不会打爆上游。
1 概念
1.1 一句话定义
数据管道是一组带依赖的任务:上游产出表/分区,下游消费并产出新表/指标。dbt 负责“用 SQL 描述转换”,Airflow 负责“按时间/依赖调度任务”;两者经常组合,而不是互相替代。
1.2 它解决什么问题
- 依赖顺序:ods → dwd → dws → ads,不能靠人工记得先后。
- 定时/触发:每天/每小时/上游就绪后运行。
- 失败重试与回填:失败任务重跑,历史分区可补。
- 可观测/可审计:谁跑了什么、耗时、产出、数据质量。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| Spark 作业内部 DAG/shuffle | Batch Processing |
| Flink 状态/事件时间 | Stream Processing |
| 表格式/ACID/时间旅行 | Lakehouse |
| 关系库 SQL/事务 | Relational Databases |
| 调度平台底层(K8s/队列) | Kubernetes / Messaging |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| DAG | 有向无环图,任务依赖 | 不是“必须并行” |
| Operator | Airflow 的任务模板 | 不是“函数” |
| Sensor | 等待外部条件 | 不是“定时器” |
| 幂等 | 重跑产生相同结果 | 不是“可重试” |
| 增量模型 | 只处理新分区/新行 | 不是“永远只追加” |
| 物化 | 把模型结果写表/视图 | dbt 的 materialization |
| 回填 | 补历史分区 | 不是“重跑今天” |
| 数据新鲜度 | 产出距现在多久 | 不是“任务成功率” |
2 机制
2.1 心智模型
把管道看成两层:转换图(dbt 的 model 依赖)和调度图(Airflow 的 task 依赖)。转换图回答“数据怎么变”,调度图回答“什么时候、按什么顺序、失败怎么办”。
2.2 机制拆解
- dbt:每个 model 是一段
SELECT;dbt 解析ref()生成 DAG,按依赖编译/执行,写视图/表/增量表;dbt test跑数据质量断言。 - Airflow:DAG 文件定义 task 与依赖;Scheduler 按
schedule/catchup生成 run;Executor 执行 task;Metadata DB 记录状态。 - 幂等:dbt 增量模型用
unique_key+ merge/delete+insert;Airflow task 重跑要覆盖同一分区,而不是追加。 - 回填:Airflow
catchup/clear 指定日期;dbt--select+ 变量/分区参数;先限流再放大。
2.3 完整枚举
| dbt 物化 | 行为 | 适用 |
|---|---|---|
| view | 每次查询时计算 | 轻量、上游稳定 |
| table | 每次重建 | 中等数据、查询频繁 |
| incremental | 只处理新数据 | 大表、按时间分区 |
| ephemeral | 不落库,作为 CTE | 复用逻辑、无独立查询 |
| Airflow 组件 | 作用 |
|---|---|
| DAG | 任务与依赖定义 |
| Operator | 执行具体动作(Python/Bash/SQL/Spark) |
| Sensor | 等待文件/分区/上游 |
| Hook | 连接外部系统 |
| Executor | 本地/ Celery/Kubernetes 执行 |
| Metadata DB | 状态、历史、变量 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 调度间隔 | 小时/天 | 越短,回填成本越高 |
| SLA | 分钟/小时 | 超过要告警 |
| 并发 task | 数十到数百 | 受执行器/上游限制 |
| 重试次数 | 2–3 次 | 配合退避 |
| 分区粒度 | 天/小时 | 决定回填与幂等键 |
3 实践
3.1 最小示例
-- dbt model: models/marts/orders_daily.sql
{{ config(materialized='incremental', unique_key=['order_date', 'region']) }}
SELECT
DATE(created_at) AS order_date,
region,
COUNT(*) AS orders,
SUM(amount) AS gmv
FROM {{ ref('stg_orders') }}
{% if is_incremental() %}
WHERE created_at >= (SELECT MAX(order_date) FROM {{ this }})
{% endif %}
GROUP BY 1, 2
# models/marts/schema.yml
models:
- name: orders_daily
columns:
- name: order_date
tests: [not_null]
- name: region
tests: [not_null]
# Airflow DAG:每天跑 dbt,失败重试 2 次。
from airflow import DAG
from airflow.operators.bash import BashOperator
from datetime import datetime, timedelta, timezone
with DAG(
"orders_daily",
start_date=datetime(2026, 1, 1, tzinfo=timezone.utc),
schedule="0 2 * * *",
catchup=False,
default_args={"retries": 2, "retry_delay": timedelta(minutes=5)},
) as dag:
dbt_run = BashOperator(
task_id="dbt_run",
bash_command="dbt run --select orders_daily",
)
dbt_test = BashOperator(
task_id="dbt_test",
bash_command="dbt test --select orders_daily",
)
dbt_run >> dbt_test
3.2 常用操作与参数
| 操作 | 命令 / 配置 | 说明 |
|---|---|---|
| 跑模型 | dbt run --select orders_daily | 含上游依赖 |
| 跑测试 | dbt test --select orders_daily | 数据质量断言 |
| 全量重跑 | dbt run --full-refresh | 重建增量表,谨慎 |
| 查看血缘 | dbt docs generate | 依赖图 |
| 手动触发 | Airflow UI / CLI | 指定 logical date |
| 回填 | catchup=True / clear | 限制并发,避免打爆 |
| 失败重试 | retries + 退避 | 只重试幂等任务 |
3.3 标准流程
- 明确分区粒度、SLA、上游就绪条件和数据质量规则。
- 先写 staging(清洗/重命名),再写 mart(聚合/宽表)。
- 为增量模型设计
unique_key和幂等写入。 - 把
dbt run与dbt test串进 Airflow;测试失败阻断下游。 - 回填前限流,先小范围验证,再放大。
- 监控新鲜度、失败率、运行时长和行数变化。
3.4 与相邻技术的组合
- Spark:Airflow 提交 Spark 作业;dbt 负责 SQL 层转换。
- 湖仓:dbt 可写 Iceberg/Delta;表格式提供 ACID/时间旅行。
- 消息/流:流作业产出实时表,批管道做对账/修正。
- BI:mart 层直接服务报表;语义层/指标定义要统一。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 任务类型 | 转换 / 编排 / 两者 | dbt vs Airflow |
| 数据量 | 小 / 大 | SQL 直跑 vs Spark |
| 延迟 | 小时/天 / 分钟 | 批调度 vs 流 |
| 团队栈 | SQL / Python | dbt 对分析工程师友好 |
| 运维 | 托管 / 自建 | Airflow 运维成本 |
| 回填需求 | 低 / 高 | 幂等与分区设计 |
3.6 决策规则
- 转换以 SQL 为主:dbt;不要把所有逻辑塞进 Python。
- 需要跨系统调度/传感器/重试:Airflow(或 Dagster/Prefect)。
- 只是单机定时脚本:cron + SQL/Python 可能足够。
- 需要实时:Flink/流处理,批调度不解决秒级延迟。
- 回填频繁:优先分区 + 幂等,再谈调度。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| dbt | SQL 转换、测试、血缘 | 不负责调度 | 仓库/湖仓转换 |
| Airflow | 生态成熟、跨系统编排 | 运维重、DAG 代码化 | 复杂依赖/回填 |
| Dagster/Prefect | 资产/类型化、开发体验好 | 生态较新 | 新管道 |
| 存储过程 | 靠近数据、无需额外工具 | 难测试/版本化/血缘 | 传统仓库 |
| dbt Cloud | 托管调度/CI | 成本/锁定 | 小团队 |
3.8 何时不该用
- 单表简单聚合:一条 SQL/定时任务即可。
- 需要秒级延迟:批调度不适合。
- 团队没有 DAG/回填运维能力:先用托管服务。
- 逻辑主要是 Python/ML:Airflow 编排 + 容器化任务更合适。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 重跑后数据翻倍 | 任务非幂等/追加写 | 覆盖分区/merge/唯一键 |
| 下游读到半成品 | 缺依赖/未等上游完成 | 显式依赖 + 测试门禁 |
| 回填打爆上游 | 并发过高/全量重算 | 限流、分批、增量 |
| 任务成功但数据错 | 缺数据质量测试 | dbt test/断言/对账 |
| 时区错位 | 调度时区/分区字段不一致 | 统一 UTC/业务时区 |
| 任务一直排队 | 执行器容量/池不足 | 扩池/优先级/拆分 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
任务里 DELETE 全表再插入 | 失败留下空表 | 临时表 + 原子替换 |
忽略 catchup | 历史分区缺失 | 明确回填策略 |
| 所有逻辑放一个巨型 DAG | 难定位/难重跑 | 拆分域/分层 |
| 测试失败仍放行下游 | 脏数据扩散 | 测试作为门禁 |
| 用当前时间做分区 | 重跑结果漂移 | 用 logical date/参数 |
4.3 可观测信号
DAG/task 成功率与时长、SLA 达成、数据新鲜度、行数/金额对账、dbt 测试失败、回填队列、上游传感器等待时间。
4.4 安全 / 性能 / 一致性边界
- 幂等:重跑必须可重复;否则回填就是事故。
- 权限:调度账号与转换账号分离,最小权限。
- 成本:回填/全量重跑会放大计算和存储成本。
- 一致性:跨系统写入用 outbox/幂等消费,避免双写。