1 / 4概念
Stream Processing
流处理对无界事件流做持续计算,在事件到达时更新状态并输出结果。判断标准不是“用不用 Flink”,而是事件时间、状态规模、延迟目标和故障恢复语义。
1 概念
1.1 一句话定义
流处理把事件流建模为不断追加的记录序列,用算子持续转换、聚合和连接,并用状态保存跨事件的信息。Flink 用事件时间、watermark 和 checkpoint 把“无界”变成可计算、可恢复的问题。
1.2 它解决什么问题
- 实时指标:分钟/秒级窗口聚合,而不是等一天跑批。
- 事件驱动:订单、支付、风控事件到达即处理。
- 有状态计算:去重、会话、累计值、流式 join。
- 故障恢复:算子失败后从 checkpoint 恢复状态,而不是从头重放。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 有界数据、Spark DAG/shuffle | Batch Processing |
| 消息队列的存储/分区/投递语义 | Messaging & Events |
| 调度、依赖、回填 | Data Pipelines |
| 湖仓表格式/ACID | Lakehouse |
| 批流统一的 SQL 引擎 | 数据仓库/湖仓页 |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| 事件时间 | 事件实际发生的时间 | 不是“到达时间” |
| 处理时间 | 算子处理事件的机器时间 | 最简单但不稳定 |
| Watermark | 对“事件时间进度”的估计 | 不是“水位线告警” |
| 窗口 | 把流切成有限区间 | 不是“批” |
| 状态 | 跨事件保留的数据 | 不是“缓存” |
| Checkpoint | 自动的分布式快照 | 不是“保存点” |
| Savepoint | 手动触发的状态快照 | 用于升级/迁移 |
| 背压 | 下游处理不过来,向上游施压 | 不是“限流”本身 |
2 机制
2.1 心智模型
流 = 不断追加的事件;算子 = 有状态的转换;时间 = 事件时间(业务发生)与处理时间(机器看到)。Watermark 告诉算子“比这个时间更早的事件基本到齐了”,窗口才能触发。
2.2 机制拆解
- Source:从 Kafka/文件/数据库读取,记录事件时间。
- Watermark:按分区跟踪最大事件时间,减去允许的乱序延迟。
- 窗口/状态:按 key 分组,窗口聚合写入状态;迟到事件按 allowed lateness 处理。
- Checkpoint:JobManager 注入 barrier,算子对齐后把状态写到持久存储;失败时从最近 checkpoint 恢复。
- Sink:事务性写入(两阶段提交)或幂等写入,保证 exactly-once 语义。
2.3 完整枚举
| 类别 | 成员 | 说明 |
|---|---|---|
| 时间语义 | 事件时间、处理时间、摄入时间 | 事件时间最贴近业务 |
| 窗口 | 滚动、滑动、会话、全局 | 滚动不重叠,滑动重叠,会话按间隙 |
| 状态后端 | HashMap(堆内)、RocksDB(磁盘) | 状态大小/延迟权衡 |
| 连接 | interval join、window join、lookup join | 流-流/流-维表 |
| Sink 语义 | at-most-once、at-least-once、exactly-once | 取决于 source/sink 能力 |
| 容错 | checkpoint、savepoint、重启策略 | 自动恢复 vs 人工迁移 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 端到端延迟 | 毫秒到秒 | 受 checkpoint/网络/背压影响 |
| Checkpoint 间隔 | 秒到分钟 | 越大恢复越慢,越小开销越高 |
| 状态大小 | MB 到 TB | RocksDB 支持大状态 |
| Watermark 延迟 | 秒到分钟 | 容忍乱序的代价 |
| 并行度 | 与分区数匹配 | 过高增加协调成本 |
3 实践
3.1 最小示例
// Flink DataStream:按用户统计 5 分钟滚动窗口内的订单金额。
DataStream<Order> orders = env
.addSource(new FlinkKafkaConsumer<>("orders", new OrderSchema(), props))
.assignTimestampsAndWatermarks(
WatermarkStrategy.<Order>forBoundedOutOfOrderness(Duration.ofSeconds(10))
.withTimestampAssigner((order, ts) -> order.createdAt()));
orders
.keyBy(Order::userId)
.window(TumblingEventTimeWindows.of(Time.minutes(5)))
.allowedLateness(Time.minutes(1))
.aggregate(new SumAmount())
.addSink(new TransactionalJdbcSink());
-- Flink SQL:同样的窗口聚合。
SELECT user_id,
TUMBLE_START(ts, INTERVAL '5' MINUTE) AS window_start,
SUM(amount) AS gmv
FROM orders
GROUP BY user_id, TUMBLE(ts, INTERVAL '5' MINUTE);
3.2 常用操作与参数
| 操作 | 配置 / API | 说明 |
|---|---|---|
| 设置并行度 | env.setParallelism(n) | 与 Kafka 分区数对齐 |
| 开启 checkpoint | enableCheckpointing(60_000) | 间隔/超时/最小间隔 |
| 选择状态后端 | EmbeddedRocksDBStateBackend | 大状态用 RocksDB |
| 允许乱序 | forBoundedOutOfOrderness | 延迟越大,结果越准但越慢 |
| 迟到数据 | allowedLateness / side output | 超时后转侧输出 |
| 重启策略 | fixed-delay / exponential | 避免无限重启 |
3.3 标准流程
- 明确事件时间字段、允许乱序范围和迟到处理策略。
- 设计 key 与状态:状态大小、TTL、清理策略。
- 选择 checkpoint 间隔与状态后端;评估恢复时间。
- 设计 sink 语义:幂等写入或两阶段提交。
- 压测背压、倾斜和故障恢复;演练 savepoint 升级。
3.4 与相邻技术的组合
- 消息队列:Kafka 提供分区、持久化和回放;Flink 消费并 checkpoint offset。
- 湖仓:流式写入 Iceberg/Delta,批读同一张表。
- 管道:Airflow 负责提交/升级 Flink 作业,不负责每条事件。
- 维表:lookup join 访问 Redis/MySQL,注意缓存与一致性。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 延迟 | 秒 / 毫秒 | 微批 vs 原生流 |
| 状态 | 小 / 大 | 堆内 vs RocksDB |
| 语义 | at-least-once / exactly-once | 影响 sink 设计 |
| 事件时间 | 需要 / 不需要 | 需要 watermark |
| 团队栈 | SQL / JVM / 库 | Flink SQL vs Kafka Streams |
| 运维 | 自建 / 托管 | 集群与状态存储成本 |
3.6 决策规则
- 需要事件时间窗口、状态和 exactly-once:Flink。
- 只想在 Kafka 上做轻量转换:Kafka Streams,少一个集群。
- 已有 Spark 且能接受微批延迟:Structured Streaming。
- 只是定时聚合:批处理/仓库 SQL 更简单。
- 状态很大:RocksDB + 增量 checkpoint。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| Flink | 原生流、事件时间/状态强 | 运维复杂、学习曲线陡 | 实时 ETL/风控 |
| Kafka Streams | 轻量、库级嵌入 | 仅 Kafka、状态能力有限 | Kafka 内轻量处理 |
| Spark Structured Streaming | 与批统一、生态熟 | 微批延迟 | 准实时/批流一体 |
| 消息队列 + 消费者 | 最简单 | 无状态/窗口/容错能力 | 简单事件处理 |
3.8 何时不该用
- 延迟要求是小时/天:批处理更便宜。
- 无状态、逐条转换:普通消费者就够。
- 团队没有状态存储/ checkpoint 运维能力:先用托管服务。
- 事件量很小:Flink 集群成本不划算。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 窗口一直不触发 | watermark 不前进/分区空闲 | 设置 idle source、检查时间字段 |
| 结果偏少 | 迟到事件被丢弃 | 增大 allowed lateness/侧输出 |
| Checkpoint 超时 | 状态大/背压/存储慢 | 增量 checkpoint、调间隔 |
| 状态无限增长 | 没有 TTL/清理 | 配置 state TTL、窗口清理 |
| 端到端重复 | sink 非幂等/两阶段提交失败 | 幂等键/事务 sink |
| 背压持续 | 下游慢/并行度不足 | 扩并行度、优化算子、限流 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 用处理时间做业务窗口 | 结果随延迟波动 | 事件时间 + watermark |
| 无界状态 | 内存/磁盘爆炸 | TTL/窗口/清理 |
| checkpoint 间隔过短 | 开销压垮吞吐 | 按恢复目标调 |
| 在算子内做阻塞 I/O | 背压/超时 | 异步 I/O/维表缓存 |
| 忽略迟到数据 | 指标偏低 | allowed lateness/侧输出 |
4.3 可观测信号
Checkpoint 时长/失败率、背压指标、watermark 进度、状态大小、端到端延迟、Kafka lag、重启次数、sink 写入失败率。
4.4 安全 / 性能 / 一致性边界
- 语义:exactly-once 需要 source 可回放 + 状态 checkpoint + 事务/幂等 sink,缺一不可。
- 时间:事件时间依赖数据里的时间字段;字段错误会让窗口全错。
- 状态:状态是流处理的核心成本,必须设计 TTL 和清理。
- 升级:改状态结构要用 savepoint + 兼容的 serializer。