1 / 4概念
Event-Driven Architecture
事件驱动把“现在必须一起完成”改成“已经发生了什么,谁关心谁消费”。它买到的是解耦、可重放和削峰,付出的是最终一致性、重复投递和跨服务调试成本。判断标准不是“有没有消息队列”,而是事件是否是事实的唯一记录。
1 概念
1.1 一句话定义
事件驱动架构用事件表达已经发生的事实,生产者把事件追加到日志或投递给代理,消费者异步处理并更新自己的状态。组件之间不直接调用,而是通过事件的时间、顺序和内容协作。
1.2 它解决什么问题
- 同步调用链过长:一次下单要串行调用库存、积分、通知、风控,任何一环慢都拖住主流程。
- 读写负载不对称:写少读多,或读模型需要多种聚合方式,单一模型撑不住。
- 审计与重放:需要知道“谁在什么时候改了什么”,并能从历史重建状态。
- 削峰:突发流量先写入日志,消费者按自己的能力处理。
它不能免费解决一致性问题;只是把一致性问题从“事务”转移到了“事件顺序、幂等和补偿”。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 服务发现、网关、跨服务部署 | Microservices |
| Kafka/RabbitMQ/Pulsar 的运维细节 | Messaging & Events |
| 聚合、领域事件与限界上下文 | Domain-Driven Design |
| 数据管道与批流处理 | Data Processing & Pipelines |
| 可观测性三件套 | Fault Tolerance & Observability |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| 事件 | 已经发生的事实,过去时命名 | 不是命令,不要求谁执行 |
| 命令 | 要求某个接收者做一件事 | 不是事实,可能被拒绝 |
| 主题/分区 | 事件的逻辑通道与有序分片 | 分区数决定并行上限 |
| 偏移量 | 消费者在分区中的位置 | 不是消息 ID |
| 消费者组 | 一组消费者分摊分区 | 组内一个分区只给一个消费者 |
| 至少一次 | 可能重复投递,不会丢 | 不是“恰好一次” |
| 幂等 | 同一操作执行多次结果相同 | 不是“不会重复消费” |
| Outbox | 业务表与待发事件同事务写入 | 不是消息队列本身 |
2 机制
2.1 心智模型
把事件日志想成只追加的账本:生产者只追加,消费者只读并记住自己的位置。当前状态是账本的投影;需要新视图时,重放账本即可。缓存、搜索索引、报表都是投影,不是事实来源。
一条不变量:事实只写一次,投影可以重建。如果某个状态无法从事件重建,它就不是投影,而是另一个事实源。
2.2 机制拆解
- 生产者在本地事务中写业务表,同时写一条 outbox 记录。
- 中继进程读取 outbox,把事件投递到 broker,成功后标记已发送。
- broker 按分区追加事件,保留 offset;消费者组按 offset 拉取。
- 消费者用幂等键去重,更新自己的读模型或触发下一步。
- 失败时重试或进入死信队列;消费成功后提交 offset。
- 需要新读模型时,从 offset 0 重放,或从快照恢复。
关键失败点:outbox 中继重复投递、消费者提交 offset 前崩溃、分区键选错导致乱序、重放触发重复副作用。
2.3 完整枚举
| 模式 | 成员 | 解决什么 | 代价 |
|---|---|---|---|
| 事件通知 | 领域事件、集成事件、通知事件 | 解耦、广播 | 消费者可能重复处理 |
| 消息传递 | 点对点队列、发布订阅、请求/回复 | 异步任务、削峰 | 需要死信与重试 |
| 事件溯源 | 事件存储、快照、重放 | 审计、时间旅行 | 版本演进、重放成本 |
| CQRS | 写模型、读模型、投影 | 读写分别优化 | 读模型延迟、最终一致 |
| 事务消息 | Outbox、CDC、事务日志 | 业务与事件原子写 | 中继与去重 |
| 流程编排 | Saga、编排器、补偿 | 跨服务长事务 | 补偿逻辑复杂 |
| 投递语义 | 至多一次、至少一次、有效一次 | 可靠性 | 有效一次需要幂等 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 分区顺序 | 单分区有序 | 跨分区不保证全局顺序 |
| 消费者并行度 | ≤ 分区数 | 多出的消费者空闲 |
| 端到端延迟 | 毫秒到秒 | 受批量、提交间隔、积压影响 |
| 保留期 | 小时到永久 | 决定重放窗口 |
| 重复率 | 至少一次下 > 0 | 网络重试与再平衡都会重复 |
| 消费者积压 | lag | 突增通常先于用户可见故障 |
3 实践
3.1 最小示例
-- 业务写入与事件写入在同一个本地事务里,避免“写库成功、发消息失败”。
begin;
insert into orders (id, status, total_cents)
values ('order-1', 'created', 9900);
insert into outbox (id, aggregate_id, type, payload, created_at)
values ('evt-1', 'order-1', 'OrderCreated', '{"orderId":"order-1"}', now());
commit;
// 消费者:先占幂等键,再处理;重复投递直接跳过。
async function handle(event: {id: string; type: string; payload: unknown}) {
const inserted = await db.query(
'insert into processed_events (event_id) values ($1) on conflict do nothing returning event_id',
[event.id],
);
if (inserted.rowCount === 0) return; // 已经处理过
if (event.type === 'OrderCreated') {
await readModel.projectOrder(event.payload);
}
}
3.2 常用操作与参数
| 操作 | 命令 / API | 说明 |
|---|---|---|
| 查看积压 | kafka-consumer-groups --describe | 看 lag 与分区分配 |
| 重放 | 重置 offset / 新建消费组 | 先评估副作用 |
| 死信处理 | 消费 DLQ 并修复后重投 | 不要无限重试 |
| 事件版本 | event_type + schema_version | 消费者按版本兼容 |
| 事务边界 | 本地事务 + outbox | 不要跨服务事务 |
| 顺序保证 | 用聚合 ID 作分区键 | 同一聚合进同一分区 |
3.3 标准流程
- 先定义事实:事件名用过去时,字段只描述发生了什么。
- 选投递语义:默认至少一次,消费端必须幂等。
- 选分区键:同一聚合的事件必须同分区。
- 写 outbox/CDC,保证业务与事件原子写。
- 定义消费者契约、重试预算和死信处理。
- 加积压、延迟、重复率和死信数监控,再做容量规划。
3.4 与相邻技术的组合
- DDD:领域事件在聚合内产生,集成事件跨上下文发布;不要把领域对象直接序列化出去。
- 微服务:跨服务写流程用 Saga,事件是补偿的触发点。
- CQRS:写模型只负责事实,读模型按查询需求投影。
- 可观测性:每个事件带 trace ID、causation ID 和 correlation ID,才能串起因果链。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 一致性 | 强 / 最终 | 强一致不适合纯事件驱动 |
| 耦合 | 低 / 高 | 事件降低时间耦合,增加契约耦合 |
| 审计需求 | 有 / 无 | 有则考虑事件溯源 |
| 读模型数量 | 1 / 多 | 多则 CQRS 收益明显 |
| 重放需求 | 有 / 无 | 有则日志型 broker 更合适 |
| 团队成熟度 | 高 / 低 | 低则先做 outbox + 幂等 |
3.6 决策规则
- 只需要异步通知:消息队列 + 至少一次 + 幂等即可,不要上事件溯源。
- 需要审计和时间旅行:事件溯源 + 快照;先评估重放成本。
- 读写模型差异大:CQRS;读模型延迟要能被业务接受。
- 跨服务写流程:Saga + 补偿;不要用两阶段提交硬扛。
- 事件必须按聚合有序:用聚合 ID 作分区键。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| 同步 RPC | 简单、强一致、易调试 | 时间耦合、级联失败 | 实时查询、短流程 |
| 消息队列 | 解耦、削峰、重试 | 重复、顺序、积压 | 异步任务 |
| 事件日志 | 可重放、多消费者 | 运维复杂、保留成本 | 事件溯源、数据管道 |
| CQRS | 读写独立优化 | 读模型延迟与双写 | 读写不对称 |
| 事件溯源 | 审计、时间旅行 | 版本演进、重放成本 | 金融、协作编辑 |
3.8 何时不该用
- 业务要求强一致且不能补偿:不要用最终一致硬套。
- 只有一个消费者、没有削峰需求:同步调用更简单。
- 团队没有幂等、重试、死信和监控能力:事件会变成不可见的数据丢失。
- 事件只是“内部方法调用换了个名字”:没有跨边界价值,不要引入 broker。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 同一订单被扣两次款 | 至少一次投递 + 消费端不幂等 | 幂等键 + 去重表 |
| 事件丢了但业务表已提交 | 先写库后发消息,发消息失败 | 本地事务 + outbox/CDC |
| 同一聚合事件乱序 | 分区键不是聚合 ID | 用聚合 ID 作分区键 |
| 读模型长期落后 | 消费者积压或投影慢 | 扩容、批量、优化投影 |
| 死信队列爆满 | 毒消息无限重试 | 重试上限 + DLQ + 告警 |
| 重放后重复发通知 | 重放触发外部副作用 | 重放只重建投影,副作用隔离 |
| 事件 schema 升级后老消费者崩溃 | 没有版本兼容 | 向后兼容 + 版本字段 |
| 消费者再平衡时重复处理 | offset 提交时机不对 | 处理完再提交,或幂等兜底 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 事件里塞整个聚合快照 | 契约膨胀、隐私泄漏 | 只放必要字段 + 引用 |
| 用事件做同步请求/响应 | 超时语义丢失 | RPC 或请求/回复模式 |
| 消费者直接改生产者的库 | 数据所有权被破坏 | 各自写自己的投影 |
| 无限制重试 | 毒消息拖垮消费组 | 上限 + 退避 + DLQ |
| 把领域事件直接当集成事件 | 内部模型泄漏 | 单独的集成事件契约 |
4.3 可观测信号
消费者 lag、事件端到端延迟、重复率、死信数、重试次数、分区倾斜、outbox 未发送数、读模型新鲜度。按事件类型和消费者组分别看,不要只看总量。
4.4 安全 / 性能 / 一致性边界
- 一致性:事件驱动默认最终一致;需要强一致的读要走写模型或同步确认。
- 顺序:只保证单分区有序;跨分区全局有序代价极高。
- 安全:事件可能含个人数据;要脱敏、加密、限制保留期和访问权限。
- 性能:批量、压缩、分区数和消费者并行度共同决定吞吐;不要用无限重试代替背压。