1 / 4概念
Batch Processing
批处理对有界输入做一次性计算,把大量数据从原始层加工成可查询的结果。判断标准不是“用不用 Spark”,而是数据量、延迟要求、shuffle 成本和容错方式。
1 概念
1.1 一句话定义
批处理是在有限输入上运行的分布式计算:把数据切成分区,在多个 executor 上并行执行转换,最后写出结果。Spark 用 DAG 表示转换依赖,用 shuffle 在分区之间重新分布数据。
1.2 它解决什么问题
- 单机内存/CPU 处理不了 TB 级数据,需要水平扩展。
- 定时 ETL:清洗、连接、聚合、导出到仓库/湖仓。
- 失败重算:节点故障时不必从头跑,按 lineage 重算丢失分区。
- 统一批与流:同一套 DataFrame API 可以覆盖批和结构化流。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 无界流、事件时间、watermark | Stream Processing |
| 调度、依赖、回填 | Data Pipelines |
| 表格式、ACID、时间旅行 | Lakehouse |
| 关系库事务与索引 | Relational Databases |
| 消息队列 | Messaging & Events |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| RDD | 弹性分布式数据集,元素集合 | 不是“DataFrame 的旧名字” |
| DataFrame | 带 schema 的分布式表 | 不是 pandas DataFrame |
| DAG | 转换依赖图 | 不是 Airflow 的调度 DAG |
| 窄依赖 | 每个父分区只对应一个子分区 | 不需要 shuffle |
| 宽依赖 | 子分区依赖多个父分区 | 触发 shuffle |
| shuffle | 按 key 重新分布数据 | 不是“排序”本身 |
| 分区 | 并行度单位 | 不是“分桶/分片” |
| 广播 | 把小表复制到每个 executor | 不是“广播变量”的唯一形式 |
2 机制
2.1 心智模型
Spark 作业 = Driver 上的 DAG + Executor 上的 Task。转换是惰性的,只有 action 触发执行;窄依赖在分区内流水线执行,宽依赖要先 shuffle 再进入下一 stage。
2.2 机制拆解
- 逻辑计划:DataFrame 转换 → Catalyst 优化(谓词下推、列裁剪、常量折叠)。
- 物理计划:选择 join 策略、shuffle 分区数、聚合方式。
- Stage 切分:遇到宽依赖切 stage;每个 stage 生成一组 task。
- 执行:task 在 executor 上读分区、计算、写 shuffle 文件;下游 stage 拉取。
- 容错:分区丢失按 lineage 重算;长 lineage 用 checkpoint 截断。
2.3 完整枚举
| 类别 | 成员 | 说明 |
|---|---|---|
| 转换(窄) | select、filter、withColumn、map、flatMap | 不触发 shuffle |
| 转换(宽) | groupBy、join、distinct、repartition、sortBy | 触发 shuffle |
| 行动 | count、collect、show、write、foreach | 触发执行 |
| Join 策略 | broadcast hash、sort-merge、shuffle hash、nested loop | 依表大小/等值条件 |
| 文件格式 | Parquet、ORC、Avro、JSON、CSV | 列式/压缩/ schema |
| 缓存 | cache、persist、checkpoint | 内存/磁盘/截断 lineage |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 分区大小 | 128 MB 常见 | 太小任务多,太大 OOM |
| Shuffle 分区 | 200 默认(可调) | 决定并行度与文件数 |
| Executor 内存 | 数 GB 到数十 GB | 受堆外/序列化影响 |
| 小文件 | < 128 MB | 太多会压垮元数据与读取 |
| 倾斜 | 单分区远大于平均 | 一个 task 拖慢整个 stage |
3 实践
3.1 最小示例
from pyspark.sql import SparkSession, functions as F
spark = SparkSession.builder.appName("orders-batch").getOrCreate()
orders = spark.read.parquet("s3://lake/orders/")
users = spark.read.parquet("s3://lake/users/")
# 小表广播,避免大表 shuffle;按用户聚合近 30 天金额。
result = (
orders.where(F.col("created_at") >= F.current_date() - 30)
.join(F.broadcast(users), "user_id")
.groupBy("user_id", "region")
.agg(F.sum("amount").alias("gmv"), F.count("*").alias("orders"))
.repartition(200, "region")
)
result.write.mode("overwrite").parquet("s3://lake/agg/orders_30d/")
spark-submit \
--master yarn \
--executor-memory 8g \
--executor-cores 4 \
--conf spark.sql.shuffle.partitions=400 \
jobs/orders_batch.py
3.2 常用操作与参数
| 操作 | API / 参数 | 说明 |
|---|---|---|
| 读列式数据 | spark.read.parquet(path) | 只读需要的列 |
| 广播小表 | F.broadcast(df) | 小表进内存,避免 shuffle |
| 重分区 | repartition(n, col) / coalesce(n) | 前者 shuffle,后者合并分区 |
| 缓存 | df.cache() | 多次复用时才缓存 |
| 查看计划 | df.explain("formatted") | 看 join/shuffle/下推 |
| 倾斜处理 | salting / AQE skew join | 拆分热点 key |
| 输出 | write.partitionBy(...) | 控制目录与文件数 |
3.3 标准流程
- 明确输入/输出、分区键、SLA 和可重跑性。
- 只读需要的列和分区;尽早过滤。
- 选择 join 策略:小表广播,大表 sort-merge。
- 控制 shuffle 分区数与输出文件大小。
- 在真实数据量上压测;看 Spark UI 的 stage/task 分布。
- 为失败重跑设计幂等输出(覆盖分区/临时目录 + 原子替换)。
3.4 与相邻技术的组合
- 湖仓:Spark 读写 Iceberg/Delta 表,事务与时间旅行由表格式提供。
- 调度:Airflow/dbt 触发 Spark 作业,管理依赖与回填。
- 流处理:同一套 DataFrame API 可切到 Structured Streaming,但语义不同。
- 仓库:结果写入 ClickHouse/BI 引擎,供低延迟查询。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 输入 | 有界 / 无界 | 有界用批,无界用流 |
| 延迟 | 小时/天 / 分钟 / 秒 | 批处理不追求秒级 |
| 数据量 | GB / TB / PB | 决定集群与分区策略 |
| 计算类型 | ETL / 聚合 / ML | ML 可能需要缓存/迭代 |
| 团队栈 | SQL / Python / JVM | 影响 API 选择 |
| 成本 | 常驻集群 / 弹性 | 云上按需 vs 预留 |
3.6 决策规则
- 输入有界、延迟小时/天级:Spark 批处理。
- 需要分钟/秒级:Flink/Structured Streaming,不要硬批。
- 只是 SQL 聚合且数据在仓库:优先仓库 SQL,少一层集群。
- 小数据(单机可处理):pandas/Polars/DuckDB 更简单。
- 输出小文件多:先
coalesce/控制分区,再写。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| Spark | 生态全、批流一体、容错好 | 集群重、shuffle 慢 | 大规模 ETL/ML |
| Flink | 低延迟、状态/事件时间强 | 运维复杂 | 实时流 |
| 数据仓库 SQL | 无需集群、优化成熟 | 受仓库能力/成本限制 | BI/报表 |
| DuckDB/Polars | 单机简单、快 | 数据量受限 | 中小数据/本地分析 |
3.8 何时不该用
- 数据能放进单机内存:pandas/Polars/DuckDB 更快更简单。
- 需要秒级延迟:批处理的调度与 shuffle 不适合。
- 只是简单定时脚本:cron + SQL 可能足够。
- 集群成本高于收益:先算单位数据处理成本。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| Executor OOM | 分区太大/collect 到 driver | 增分区、避免 collect、调内存 |
| 某个 task 长时间不结束 | 数据倾斜 | salting、AQE skew join、拆分热点 |
| Shuffle 失败 | 磁盘/网络/executor 丢失 | 重试、调 shuffle 配置 |
| 输出大量小文件 | 分区过多/频繁追加 | coalesce、按大小重写 |
| 作业越跑越慢 | lineage 太长/缓存失效 | checkpoint、拆分作业 |
| 结果不一致 | 非幂等写入/重复跑 | 覆盖分区 + 原子提交 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
collect() 大结果 | driver OOM | 写文件/聚合后再取 |
无条件 repartition(1) | 并行度归零 | 按目标文件大小分区 |
频繁 cache() | 内存被占满 | 只缓存复用多次的数据 |
| 在循环里起作业 | 调度/shuffle 开销爆炸 | 合并为一次 DAG |
| 直接写生产表 | 失败留下半成品 | 临时目录 + 原子替换 |
4.3 可观测信号
Spark UI 的 stage/task 时间分布、shuffle read/write、spill、GC 时间、executor 失败、输入/输出行数与文件数。倾斜表现为少数 task 远慢于中位数。
4.4 安全 / 性能 / 一致性边界
- 幂等:重跑必须覆盖同一分区,不能追加重复数据。
- 资源:executor 内存、cores、shuffle 分区数要一起调,单改一个常无效。
- 数据质量:schema 演进/空值/重复键要在写入前校验。
- 权限:作业账号只读写必要路径;避免把凭据写进代码。