1 / 4概念
Fault Tolerance & Observability
容错让系统在部分组件失败时仍满足 SLO,可观测性让团队在失败发生后能回答“哪里坏了、为什么、影响多大”。两者不是同一个东西:没有信号的容错只是猜测,没有容错目标的观测只是仪表盘收藏。
1 概念
1.1 一句话定义
容错是系统对故障的响应能力:检测、隔离、降级、恢复;可观测性是从指标、日志、追踪等外部输出推断内部状态的能力。SLO 把两者连成可验收的目标。
1.2 它解决什么问题
- 部分失败:一个下游超时不应拖垮整个请求链。
- 故障定位:从用户症状追到具体服务、实例和依赖。
- 告警质量:用症状和错误预算告警,而不是每个 CPU 毛刺都响。
- 容量与成本:知道哪个维度饱和,扩容才有依据。
- 复盘:用同一条 trace 还原一次失败的时间线。
没有可观测性,团队只能靠“重启试试”;没有容错,任何依赖抖动都会变成全站故障。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 服务网格的 mTLS、重试与流量切分 | Service Mesh |
| 消息系统的 lag 与投递语义 | Messaging & Events |
| 共识与 leader 故障 | Consensus & Replication |
| 容器与 Kubernetes 的调度故障 | Kubernetes、Docker |
| 压测方法与容量模型 | Performance Testing |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| SLI | 可测量的服务水平指标,如成功率、P99 | 不是目标 |
| SLO | SLI 的目标范围与时间窗 | 不是对用户的合同 |
| Error budget | 1 − SLO,允许的失败额度 | 不是“可以随便失败” |
| Burn rate | 错误预算消耗速度 | 不是瞬时错误率 |
| Trace / Span | 一次请求的调用树与单个操作 | 不是日志 |
| RED | Rate、Errors、Duration | 面向请求 |
| USE | Utilization、Saturation、Errors | 面向资源 |
2 机制
2.1 心智模型
可观测性有三根支柱:metrics 回答“多少/多快”,logs 回答“发生了什么”,traces 回答“慢在哪一跳”。容错则是一条控制回路:检测 → 隔离 → 降级 → 恢复。SLO 是回路的验收标准;错误预算决定发布和排期的优先级。
2.2 机制拆解
- 埋点:应用用 OpenTelemetry API 创建 span、counter、histogram;SDK 负责采样、批处理和导出。
- 上下文传播:traceparent/tracestate 在 HTTP/gRPC/消息头中传递;断链会让一次请求拆成多个孤儿 trace。
- Collector:receiver 接收 OTLP/jaeger/prometheus,processor 做批处理、脱敏、采样,exporter 发往 Tempo/Jaeger/Prometheus/日志后端。
- 指标采集:Prometheus 主动 scrape
/metrics,按时间序列存储;histogram 的 bucket 决定分位数精度。 - 日志:结构化字段 + 关联 trace_id/span_id;集中存储前先做采样与脱敏。
- 告警:基于 SLO burn rate、错误率、延迟和饱和度;每条告警必须有 runbook 和 owner。
- 容量:用 USE/RED 找饱和点,用压测验证,不靠单机 CPU 猜测。
2.3 完整枚举
| 信号 | 回答的问题 | 典型成本 | 采样策略 |
|---|---|---|---|
| Metrics | 多少请求、多快、多满 | 低(聚合后) | 不采样,控制标签基数 |
| Logs | 具体发生了什么、错误上下文 | 高(体积大) | 按级别/关键字采样 |
| Traces | 一次请求经过哪些服务、慢在哪 | 中(按请求) | 头部/尾部采样 |
| Profiles | CPU/内存/锁热点在哪 | 中 | 按时间窗口采样 |
| Exemplars | 指标异常对应的具体 trace | 低 | 按异常样本关联 |
OpenTelemetry 组件:
| 组件 | 职责 | 典型实现 |
|---|---|---|
| API | 语言无关的埋点接口 | @opentelemetry/api、Go otel |
| SDK | 采样、批处理、资源属性 | 各语言 SDK |
| Collector | 接收、处理、导出 | otelcol、otelcol-contrib |
| Receiver | 接入 OTLP/Jaeger/Prometheus | otlp、prometheus |
| Processor | 批处理、脱敏、采样、限流 | batch、attributes、tail_sampling |
| Exporter | 写后端 | otlphttp、prometheusremotewrite |
指标类型:
| 类型 | 语义 | 例子 | 注意 |
|---|---|---|---|
| Counter | 只增 | 请求总数、错误总数 | 用 rate 而非原值 |
| Gauge | 可增可减 | 队列长度、内存使用 | 抓取间隔决定精度 |
| Histogram | 分桶分布 | 请求延迟 | bucket 决定 P99 误差 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 99.9% SLO | 每月 43.2 分钟 | 错误预算 0.1% |
| 1h 14.4x burn | 2% 预算/小时 | 快速烧毁,适合 page |
| Trace 采样 | 1%–10% | 高流量下尾部采样更有效 |
3 实践
3.1 最小示例
# otel-collector.yaml:接收 OTLP,批处理与限流,再导出到后端。
receivers:
otlp:
protocols: {grpc: {}, http: {}}
processors:
batch: {timeout: 5s}
memory_limiter: {check_interval: 1s, limit_mib: 512}
exporters:
otlphttp: {endpoint: http://tempo:4318}
service:
pipelines:
traces:
receivers: [otlp]
processors: [memory_limiter, batch]
exporters: [otlphttp]
3.2 常用操作与参数
| 操作 | 命令 / API | 说明 |
|---|---|---|
| 校验 Collector 配置 | otelcol validate --config otel-collector.yaml | 启动前发现字段/管道错误 |
| 查错误率 | sum(rate(http_requests_total{status=~"5.."}[5m])) | 按服务/路由拆分 |
| 查 P99 | histogram_quantile(0.99, sum by (le) (rate(http_request_duration_seconds_bucket[5m]))) | bucket 必须覆盖业务延迟 |
| 查 trace | 按 trace_id 在 Tempo/Jaeger 检索 | 从错误日志或 exemplar 跳转 |
3.3 标准流程
- 先定义 SLI:成功率、延迟、吞吐、饱和度,每个服务不超过 3–5 个。
- 定 SLO 与时间窗:99.9%/30 天,换算错误预算。
- 埋点:统一 OTel SDK,传播 trace context,记录业务关键属性。
- 采集:metrics 走 scrape,traces/logs 走 Collector,统一资源属性(service.name、env、version)。
- 建 dashboard:先 RED/USE,再业务指标;每个面板标注 SLI 与时间窗。
- 告警:多窗口 burn rate + 症状告警;每条告警有 runbook 和 owner。
- 复盘:用 trace、日志、变更事件还原时间线,更新 SLO 与告警阈值。
3.4 与相邻技术的组合
- 服务网格:mesh 提供统一的 L7 指标、访问日志和 trace 上下文,减少应用重复埋点。
- 消息系统:lag、消费延迟和 DLQ 是事件链路的专属 SLI。
- 压测:压测产生可对照的负载与延迟基线,避免“线上才第一次知道容量”。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 托管 / 自建 | 全托管 / 自建 | 成本、合规、运维人力 |
| 采集模型 | push / pull | pull 适合 K8s 服务发现,push 适合短任务 |
3.6 决策规则
- 先有 SLO,再选工具;没有 SLO 的 dashboard 只会堆积面板。
- 用 OTel 做埋点标准,后端可替换;不要把厂商 SDK 散落在业务代码里。
- 高流量用尾部采样保留错误与慢请求;低流量可全量。
- 告警只报“用户能感知的症状”和“预算烧毁速度”,原因告警进 dashboard。
- 标签只放低基数维度(service、route、status、region);用户 ID/请求 ID 放日志或 trace。
- 保留期按排障需求定:错误日志 30 天、指标 90 天、trace 7–14 天是常见起点。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| Prometheus + Grafana + OTel | 开源、可控、生态成熟 | 自建存储与高可用 | 中大型自建平台 |
| Datadog | 开箱即用、关联强 | 成本随主机/自定义指标上涨 | 团队小、要快 |
| Tempo / Jaeger | trace 专用、成本低 | 需要对象存储与采样策略 | 已有 Prometheus/Grafana |
3.8 何时不该用
- 单机脚本或原型:日志 + 简单健康检查足够。
- 没有明确 SLI:先定义业务成功,不要先买 APM。
- 团队没有 on-call:告警只会制造噪音,先把值班与 runbook 建好。
- 数据敏感受限:先做脱敏与采样,再谈全量采集。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| Prometheus 内存暴涨/OOM | 高基数标签(user_id、request_id) | 删高基数标签;用日志/trace 关联 |
| 告警风暴 | 每个原因都告警,缺少抑制/分组 | 只报症状与 burn rate;加 inhibition |
| 线上慢但 dashboard 正常 | 只采集了平均延迟,缺少 P99/分桶 | 用 histogram + P99/P95 面板 |
| trace 断成多段 | 上下文未传播或异步边界丢失 | 检查 header/消息属性;在异步入口恢复 context |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 把 user_id 放进 metric label | 基数爆炸,存储与查询崩溃 | 放 trace/log 属性 |
| 没有 runbook 的 page | on-call 无法行动 | 每条告警绑定处置步骤 |
| 采集全量 debug 日志 | 成本失控、噪声淹没信号 | 分级采样 + 保留期 |
4.3 可观测信号
SLO burn rate:1h/6h 多窗口,直接对应错误预算。error rate / P99 latency:按服务、路由、依赖拆分。saturation:CPU throttling、内存 working set、连接池、队列深度。trace gap rate:断链比例,反映上下文传播质量。collector dropped spans / queue length:采集管道自身是否过载。alert count / MTTA / MTTR:告警质量与响应效率。
4.4 安全 / 性能 / 一致性边界
- 隐私:日志与 trace 属性可能含 PII;采集前脱敏,按地域驻留。
- 成本:可观测性成本随基数、样本和保留期增长,必须设预算。
- 采样:采样会改变统计口径;聚合指标与 trace 采样要分开设计。
- 一致性:跨主机时钟不保证单调;用 trace_id 与逻辑时钟还原顺序。
- 故障域:采集管道不能成为业务单点;Collector 要限流、缓冲、可降级。