跳到主要内容

1 / 4概念

Stream Processing

流处理对无界事件流做持续计算,在事件到达时更新状态并输出结果。判断标准不是“用不用 Flink”,而是事件时间、状态规模、延迟目标和故障恢复语义。

1 概念​

1.1 一句话定义​

流处理把事件流建模为不断追加的记录序列,用算子持续转换、聚合和连接,并用状态保存跨事件的信息。Flink 用事件时间、watermark 和 checkpoint 把“无界”变成可计算、可恢复的问题。

1.2 它解决什么问题​

  • 实时指标:分钟/秒级窗口聚合,而不是等一天跑批。
  • 事件驱动:订单、支付、风控事件到达即处理。
  • 有状态计算:去重、会话、累计值、流式 join。
  • 故障恢复:算子失败后从 checkpoint 恢复状态,而不是从头重放。

1.3 不属于本页的内容​

主题去哪
有界数据、Spark DAG/shuffleBatch Processing
消息队列的存储/分区/投递语义Messaging & Events
调度、依赖、回填Data Pipelines
湖仓表格式/ACIDLakehouse
批流统一的 SQL 引擎数据仓库/湖仓页

1.4 关键术语​

术语含义容易混淆的点
事件时间事件实际发生的时间不是“到达时间”
处理时间算子处理事件的机器时间最简单但不稳定
Watermark对“事件时间进度”的估计不是“水位线告警”
窗口把流切成有限区间不是“批”
状态跨事件保留的数据不是“缓存”
Checkpoint自动的分布式快照不是“保存点”
Savepoint手动触发的状态快照用于升级/迁移
背压下游处理不过来,向上游施压不是“限流”本身