1 / 4概念
Messaging & Events
消息系统把生产者和消费者的时间解耦:生产者只负责追加事件,消费者按自己的节奏读取。判断标准不是“吞吐多高”,而是顺序边界、投递语义、重放能力和故障时的堆积行为。
1 概念
1.1 一句话定义
消息系统在进程之间传递异步事件,并负责持久化、分发和消费进度。日志型系统把消息保存为可重放的有序分区日志,队列型系统把消息分发给竞争消费者并在确认后删除。
1.2 它解决什么问题
- 削峰:突发流量先落到 broker,消费者按能力处理,不把下游打垮。
- 解耦:生产者不需要知道消费者数量、语言和部署位置。
- 扇出:同一事件可以被多个消费组独立处理。
- 重放:新消费者可以从历史位置重建投影或补数据。
没有消息系统,跨服务调用会变成同步链;任何一个下游变慢都会把上游线程占满。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 共识、leader 选举与 quorum | Consensus & Replication |
| 事件驱动架构与 CQRS | Event-Driven Architecture |
| 流处理的事件时间与窗口 | Stream Processing |
| 指标、日志、追踪与告警 | Fault Tolerance & Observability |
| 服务间同步调用与超时 | Application Protocols |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| Topic | 逻辑消息类别 | 不是一张表,也不保证全局顺序 |
| Partition | topic 的有序分片,顺序和并行度的单位 | 不是副本 |
| Offset | 分区内消息的位置 | 不是全局 ID |
| Consumer group | 一组消费者共同消费一个 topic | 不是订阅关系本身 |
| ISR | 与 leader 保持同步的副本集合 | 不是所有副本 |
| Idempotency | 同一消息重复处理只产生一次效果 | 不是“只投递一次” |
2 机制
2.1 心智模型
把日志想成一条只能追加的纸带:每条消息有 offset,消费者拿书签自己往前读。队列是在纸带上加“读完就撕掉”的消费协议;发布订阅是多个消费组各自拿一本书签。顺序只在分区内成立,跨分区没有全局顺序。
2.2 机制拆解
- 生产:producer 按 key 选择分区(同 key 通常同分区),发往分区 leader;leader 追加日志,follower 拉取复制;
acks决定何时向生产者确认。 - 复制:ISR 中的副本追上 leader 后,
high watermark之前的消息才对消费者可见;min.insync.replicas决定最少需要几个副本确认。 - 消费:consumer group 的 coordinator 把分区分配给成员;消费者拉取、处理、提交 offset。提交发生在处理前、处理后,决定了重复与丢失的边界。
- Rebalance:成员加入/离开、订阅变化、心跳超时会触发分区重分配;期间消费暂停,重复和延迟都可能上升。
- 保留与重放:按时间/大小保留,或按 key compaction;重放就是重置 offset 或新建消费组。
- 死信:多次处理失败后转入 DLQ,保留原始消息和失败原因,避免阻塞主链路。
2.3 完整枚举
消息模型:
| 模型 | 代表产品 | 顺序 | 重放 | 消费方式 | 典型场景 |
|---|---|---|---|---|---|
| 分区日志 | Kafka、Redpanda、Kinesis | 分区内有序 | 支持按 offset | 拉取 + 消费组 | 事件流、CDC、审计 |
| 队列 | RabbitMQ、ActiveMQ、SQS | 队列内近似 FIFO | 有限/不支持 | 推送或拉取 + 竞争消费者 | 任务分发、命令 |
| 发布订阅 | SNS、Google Pub/Sub、NATS | 通常不保证 | 视产品 | 推送/拉取 + 订阅 | 通知、扇出 |
投递语义:
| 语义 | 生产者行为 | 消费者行为 | 结果 | 适用 |
|---|---|---|---|---|
| At-most-once | 不重试或重试前已丢失 | 先提交后处理 | 可能丢,不重复 | 指标、可丢日志 |
| At-least-once | 失败重试 | 处理成功后提交 | 不丢,可能重复 | 大多数业务事件 |
| Exactly-once | 幂等生产 + 事务 | 事务内提交 offset 与结果 | 端到端一次效果 | 账务、库存等强约束 |
| Effectively-once | 至少一次 + 幂等消费 | 去重表/唯一键 | 业务上等价一次 | 跨系统、无法事务 |
确认与提交方式:
| 机制 | 取值 | 影响 |
|---|---|---|
acks | 0 / 1 / all | 0 最快最易丢;all 等 ISR 确认 |
| 手动提交 | 同步 / 异步 | 同步可靠但增加延迟 |
| 事务 | 开 / 关 | 跨分区写与 offset 原子提交 |
| 幂等生产者 | 开 / 关 | 重试不产生重复消息 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 分区数 | 6–数百 | 并行度与顺序边界;过多增加元数据与 rebalance 成本 |
| 复制因子 | 3 | 容忍 1 个 broker 故障 |
min.insync.replicas | 2 | 与 acks=all 配合,少一个副本仍可写 |
max.poll.interval | 默认 5 分钟 | 处理超时会触发 rebalance |
| 消费滞后 | 毫秒–小时 | 最直接的健康指标 |
3 实践
3.1 最小示例
# 创建 6 分区、3 副本、至少 2 个同步副本的 topic。
kafka-topics.sh --bootstrap-server localhost:9092 \
--create --topic orders --partitions 6 --replication-factor 3 \
--config min.insync.replicas=2
# 生产一条带 key 的事件;同 key 进入同一分区,获得分区内顺序。
echo 'order-42 {"status":"created"}' | \
kafka-console-producer.sh --bootstrap-server localhost:9092 \
--property parse.key=true --property key.separator=' ' --topic orders
# 独立消费组从最早位置读,验证重放。
kafka-console-consumer.sh --bootstrap-server localhost:9092 \
--topic orders --group billing-replay --from-beginning
3.2 常用操作与参数
| 操作 | 命令 / API | 说明 |
|---|---|---|
| 建 topic | kafka-topics.sh --create | 分区数决定并行度,副本数决定容错 |
| 看 topic | kafka-topics.sh --describe | 看 leader、ISR、分区分布 |
| 看消费组 | kafka-consumer-groups.sh --describe --group g | 看每个分区的 current/end offset 与 lag |
| 重置 offset | kafka-consumer-groups.sh --reset-offsets | 重放/跳过坏消息,先停消费组 |
3.3 标准流程
- 先定顺序边界:按业务键分区,还是接受跨分区无序。
- 定投递语义:至少一次 + 幂等消费通常是性价比最高的组合。
- 定分区数与复制因子:按峰值吞吐和容错目标反推。
- 生产者开
acks=all与幂等;消费者手动提交,并设计有上限的重试与 DLQ。 - 用消费组 + 多分区扩展;监控 lag,而不是只看 broker CPU。
- 演练 broker 宕机、rebalance、消费者长时间处理和磁盘满。
3.4 与相邻技术的组合
- 共识:Kafka 的 ISR 与 leader 选举共享“多数派/副本”的问题,但消息系统不暴露任意状态机。
- 事件驱动架构:消息系统是事件总线的载体,CQRS 的读写分离依赖它。
- 可观测性:lag、ISR、rebalance 次数是消息系统最重要的三组信号。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 交互模型 | 日志 / 队列 / 发布订阅 | 决定重放、竞争消费和扇出 |
| 顺序要求 | 分区内 / 全局 / 无序 | 全局顺序通常意味着单分区,吞吐受限 |
| 投递语义 | 至多一次 / 至少一次 / 一次效果 | 决定幂等与事务成本 |
| 重放需求 | 强 / 弱 / 无 | 日志型更适合审计与重建 |
3.6 决策规则
- 需要重放、审计、CDC:选分区日志(Kafka/Pulsar/Kinesis)。
- 需要复杂路由、延迟队列、优先级:选队列(RabbitMQ/SQS)。
- 需要简单扇出到多系统:选发布订阅(SNS/Pub/Sub)。
- 需要严格全局顺序:单分区或按业务键分区,不要假装跨分区有序。
- 需要端到端一次:事务 + 幂等生产 + 幂等消费/事务性 sink,三者缺一不可。
- 团队没有 Kafka 运维能力:优先托管服务,别自建三副本集群。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| Kafka | 高吞吐、可重放、生态成熟 | 运维重、分区规划难、无全局顺序 | 事件流、日志、CDC |
| Pulsar | 多租户、分层存储、队列/流统一 | 组件多、运维复杂 | 多租户平台 |
| RabbitMQ | 路由灵活、延迟队列成熟 | 大量堆积时性能下降、重放弱 | 任务、命令、复杂路由 |
| Redis Streams | 低延迟、部署简单 | 持久化与规模有限 | 小规模、低延迟 |
3.8 何时不该用
- 请求/响应式同步调用:用 HTTP/gRPC,消息系统会增加一次跳转和运维面。
- 单进程内任务:本地队列或线程池足够。
- 需要强一致事务跨库:消息系统只能做最终一致,不能替代分布式事务。
- 数据量很小且无需重放:数据库表 + 定时任务更简单。
- 团队无法处理堆积和 rebalance:先把消费能力与监控建好。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 同一事件被处理两次 | 至少一次语义 + 处理成功后提交失败/重试 | 消费端幂等:唯一键、去重表、版本号 |
| 事件顺序错乱 | 跨分区消费,或生产端 key 不稳定 | 同一业务键固定分区;消费端按版本拒绝旧事件 |
| 消费 lag 持续上涨 | 消费者不足、处理慢或频繁 rebalance | 扩消费者/分区、优化处理、调大超时 |
| 消息丢失 | acks=1、未等 ISR、自动提交先于处理 | acks=all + min.insync.replicas + 手动提交 |
| 事务提交后仍重复 | 消费端不在事务内,或 sink 非幂等 | 端到端幂等,事务只覆盖可事务资源 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 自动提交后再处理 | 处理失败但 offset 已前进,消息丢失 | 处理成功后手动提交 |
| 用单分区换全局顺序 | 吞吐被单点锁死 | 按业务键分区,接受分区内顺序 |
| 把队列当数据库 | 查询、事务、历史回溯都缺 | 事件日志 + 读模型/数据库 |
| 只看 broker CPU | 忽略 lag 与端到端延迟 | 以 lag/延迟/SLO 为主 |
4.3 可观测信号
consumer lag:按分区和消费组看,持续上涨是最直接的告警。ISR / under-replicated partitions:副本同步不足意味着写可用性和数据风险。rebalance rate:频繁重分配通常伴随处理超时或成员不稳定。retry / DLQ rate:坏消息与下游故障的先行指标。end-to-end latency:从生产到消费完成的时间,不是 broker 内部延迟。
4.4 安全 / 性能 / 一致性边界
- 顺序:只在分区内保证;跨分区没有全局顺序。
- 一次效果:只在“幂等生产 + 事务/幂等消费”同时成立时成立,跨系统仍需业务去重。
- 保留:retention 到期会删除消息,重放不是永久能力。
- 安全:启用 TLS、SASL/ACL,按 topic 授权;不要把 PII 明文写入事件。
- 背压:堆积是信号不是存储方案;无限堆积最终会打满磁盘。