Skip to main content

1 / 4概念

Batch Processing

批处理对有界输入做一次性计算,把大量数据从原始层加工成可查询的结果。判断标准不是“用不用 Spark”,而是数据量、延迟要求、shuffle 成本和容错方式。

1 概念​

1.1 一句话定义​

批处理是在有限输入上运行的分布式计算:把数据切成分区,在多个 executor 上并行执行转换,最后写出结果。Spark 用 DAG 表示转换依赖,用 shuffle 在分区之间重新分布数据。

1.2 它解决什么问题​

  • 单机内存/CPU 处理不了 TB 级数据,需要水平扩展。
  • 定时 ETL:清洗、连接、聚合、导出到仓库/湖仓。
  • 失败重算:节点故障时不必从头跑,按 lineage 重算丢失分区。
  • 统一批与流:同一套 DataFrame API 可以覆盖批和结构化流。

1.3 不属于本页的内容​

主题去哪
无界流、事件时间、watermarkStream Processing
调度、依赖、回填Data Pipelines
表格式、ACID、时间旅行Lakehouse
关系库事务与索引Relational Databases
消息队列Messaging & Events

1.4 关键术语​

术语含义容易混淆的点
RDD弹性分布式数据集,元素集合不是“DataFrame 的旧名字”
DataFrame带 schema 的分布式表不是 pandas DataFrame
DAG转换依赖图不是 Airflow 的调度 DAG
窄依赖每个父分区只对应一个子分区不需要 shuffle
宽依赖子分区依赖多个父分区触发 shuffle
shuffle按 key 重新分布数据不是“排序”本身
分区并行度单位不是“分桶/分片”
广播把小表复制到每个 executor不是“广播变量”的唯一形式