1 / 4概念
Health Checks and Draining
读完能设计出不会因依赖抖动而摘光的探针,写清判定阈值与检测窗口,并给发布与缩容配一条不漏请求的退出路径。也能从健康翻转次数与发布期 5xx 判断阈值和排空时长是否匹配。
1 概念
1.1 一句话定义
健康检查是一套“探测加判定加动作”的机制:周期性地取得后端能否服务的证据,按阈值决定它的健康状态,再由负载均衡或编排器把它加入、降权、摘除或重启;排空则是摘除之后、进程退出之前的等待与连接终止过程。
1.2 它解决什么问题
- 缩短故障暴露:后端崩溃或卡死时,把流量移走比等用户报错快得多。
- 防止误引流:刚启动、正在预热或依赖未就绪的实例不应接收流量。
- 让发布无损:先摘除、再排空、最后退出,滚动发布才不掉请求。
没有这两件事时,扩容会引入未就绪实例,缩容会掐断在途请求,故障恢复只能靠人工干预。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 调度算法、转发模式与 TLS 边界 | Load Balancing |
| 跨区域故障转移与 DNS 判定 | Global Traffic Management |
| 探针字段与 Pod 生命周期 | Kubernetes |
| 连接重置与 TIME_WAIT 的传输细节 | TCP |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| liveness | 进程是否还能工作,失败通常触发重启 | 不是“能否接流量” |
| readiness | 实例是否准备好接收新请求 | 失败只摘流,不重启 |
| startup | 启动阶段的放行条件 | 不是长期的健康判据 |
| 主动探测 | 由 LB 或编排器发起的请求 | 有检测窗口与探测开销 |
| 被动检测 | 从真实流量里观察失败 | 低流量路径发现慢 |
| fall / rise | 连续失败或成功多少次才翻转 | 不是成功率阈值 |
| draining | 停止接新请求并等待在途结束 | 不是立即断开 |
| outlier ejection | 按被动信号临时摘除实例 | 不是永久下线 |
| slow start | 恢复后渐进增加权重 | 不是重启前的等待 |
2 机制
2.1 心智模型
把健康看成一个状态机:未知、健康、不健康,加上“正在退出”。探测只提供证据,阈值才做决定,动作决定后果。三个时间要分开算:检测延迟是间隔乘 fall,摘除延迟是 LB 或编排器同步配置的时间,恢复延迟是 rise 乘间隔再加预热。
排空是另一个方向的状态机,从“可接新流量”转为“只完成已有请求”。它要解决的不是判断对错,而是顺序:先让上游不再选它,再让在途请求跑完,最后才关进程。
2.2 机制拆解
- 探测:按周期发 TCP 连接、HTTP 请求或 gRPC 健康调用,记录结果与耗时。
- 判定:连续失败达到 fall 判为不健康,连续成功达到 rise 判为健康;按比例或滑窗的实现更平滑。
- 摘除:从候选集合移除,或渐进降权;立刻摘除会让在途请求失败。
- 排空:停止接受新连接与新请求,向 h2 客户端发送 GOAWAY,等待在途请求完成。
- 终止:正常关闭用 FIN;超时后才强制断开,客户端会看到连接重置。
- 恢复:slow start 渐进加权,避免刚恢复的实例被瞬时流量打满。
- 被动通道:按 5xx、超时与连接错误做临时摘除,与主动探测互补。
2.3 完整枚举
| 类型 | 判定依据 | 能发现 | 发现不了 |
|---|---|---|---|
| TCP connect | 端口可连接 | 进程消失、端口未监听 | 线程池满、返回 5xx |
| HTTP 状态码 | GET 健康端点返回 2xx 或 3xx | 应用能处理请求 | 依赖已坏但本地缓存顶着 |
| HTTP 响应体 | 状态码加关键字或 JSON 字段 | 版本与依赖状态 | 慢请求、部分失败 |
| gRPC health | ServingStatus | gRPC 服务注册状态 | 业务方法级故障 |
| 脚本或命令 | 退出码 | 自定义综合判断 | 执行超时与副作用 |
| 被动 5xx | 实时响应码 | 真实用户路径的失败 | 流量极低的路径 |
| 被动超时 | 请求耗时超阈值 | 慢后端 | 立即失败的请求 |
| 外部合成探测 | 端到端事务 | 全链路可用性 | 单个后端实例 |
| 容量信号 | 队列深度、并发、CPU | 过载前兆 | 逻辑错误 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 探测间隔 | 2–10 秒 | 越短越灵敏,开销越大 |
| 探测超时 | 1–2 秒 | 必须小于间隔 |
| fall | 2–3 次 | 避免单次抖动摘除 |
| rise | 2–3 次 | 避免半启动实例接流量 |
| 排空时长 | 30–300 秒 | 应大于最长请求与 keepalive 周期 |
| 优雅终止上限 | 30–60 秒 | 超过即强制结束 |
3 实践
3.1 最小示例
apiVersion: apps/v1
kind: Deployment
metadata:
name: api
spec:
replicas: 3
template:
spec:
terminationGracePeriodSeconds: 45
containers:
- name: api
image: registry.example.com/api:2026.11.21
startupProbe:
httpGet: { path: /healthz, port: 8080 }
periodSeconds: 2
readinessProbe:
httpGet: { path: /readyz, port: 8080 }
periodSeconds: 5
timeoutSeconds: 2
failureThreshold: 2
successThreshold: 2
livenessProbe:
httpGet: { path: /livez, port: 8080 }
periodSeconds: 10
timeoutSeconds: 2
failureThreshold: 3
lifecycle:
preStop:
exec: { command: ["sleep", "10"] }
# 观察摘除顺序:先从 EndpointSlice 移除,再进入 Terminating
kubectl get endpointslices -l kubernetes.io/service-name=api -w
# 排空期间确认在途连接数下降,归零后进程才退出
ss -tan state established '( dport = :8080 )' | wc -l
3.2 常用操作与参数
| 操作 | 命令 / 配置 | 说明 |
|---|---|---|
| 查就绪端点 | kubectl get endpointslices | 这才是实际接流量的集合 |
| 手动摘除 | cordon 或权重置 0 | 先在入口层摘,再动实例 |
| 验证排空 | 观察 established 连接数 | 归零后再允许退出 |
3.3 标准流程
- 定义判据:readiness 看“能否接新请求”,liveness 看“是否需要重启”,两者不共用端点。
- 选端点:轻量、本地、不查深依赖;依赖状态放在 readiness 的可降级分支里。
- 定周期与阈值:间隔、超时、fall 与 rise 对齐业务恢复时间。
- 配退出路径:preStop 等待、优雅终止上限与连接排空。
- 配被动通道:outlier 按 5xx 与超时摘除,并设置最大摘除比例。
- 演练:在预发环境杀实例、滚动发布、断依赖,记录错误率与恢复时间。
- 纳入监控:健康实例数、探测失败率、排空时长与发布期错误率。
3.4 与相邻技术的组合
- Load Balancing:主动探测是 LB 的健康来源,排空需要 LB 与编排器配合完成。
- Service Mesh:outlier detection 与 sidecar 的被动判断能在更细粒度上摘除实例。
- 自动扩缩:就绪时间影响扩容生效,缩容依赖排空,否则会丢请求。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 判据 | 端口 / HTTP / gRPC / 事务 | 能发现的问题层级 |
| 依赖深度 | 仅本地 / 含关键依赖 / 全链路 | 误摘风险 |
| 灵敏度 | 激进(fall=1)/ 保守(fall=3 以上) | 检测延迟与抖动 |
| 排空 | 无 / 固定等待 / 连接排空 | 发布期错误率 |
| 恢复 | 直接加权 / slow start | 恢复瞬间的过载 |
| 被动检测 | 关闭 / 仅 5xx / 5xx 加超时 | 对故障的响应速度 |
3.6 决策规则
- 只判断进程是否活着:liveness 用本地 TCP 或 HTTP 端点。
- 判断能否接流量:readiness 含关键依赖,但保留降级分支。
- 依赖抖动频繁:改 readiness 降级,不要用 liveness 重启。
- 长连接服务:排空时长按最大连接寿命设,并给 h2 客户端发 GOAWAY。
- 多实例且容量紧:outlier 设最大摘除比例,避免一次摘光。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| 主动探测 | 直观、可配置 | 有检测窗口与探测开销 | 大多数服务 |
| 被动观测 | 反映真实流量 | 低流量路径发现慢 | 高 QPS 服务 |
| 外部合成监控 | 端到端视角 | 粒度粗、成本高 | 关键用户路径 |
3.8 何时不该用
- 单实例且无人值守发布:探针只增加噪音,先把发布流程做出来。
- 探针本身要查数据库:会把依赖抖动放大成全量摘除。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 全部后端同时被摘 | 探针检查了共享依赖 | 改本地判据加降级分支 |
| 健康状态反复抖动 | 阈值过敏感、超时过短 | 提高 fall 与 rise,放宽超时 |
| 发布时出现 5xx | 未 preStop 等待或未排空 | 调整退出顺序与时长 |
| 长连接一直不断开 | 只停监听不处理在途连接 | 发 GOAWAY,等待或主动断开 |
| 实例已就绪但不接流量 | EndpointSlice 或入口未刷新 | 查编排器与入口的同步 |
| 进程活着但请求全 500 | liveness 通过、业务已坏 | 用 readiness 反映业务状态 |
| 缩容后偶发连接重置 | 缩容未走排空 | 缩容前摘除并等待 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| liveness 查数据库 | 数据库抖动导致全部重启 | liveness 只看本地 |
| 失败一次就摘除 | 抖动放大为故障 | fall 至少 2,配合滑窗 |
| 关闭时直接退出 | 在途请求被重置 | preStop 加排空 |
4.3 可观测信号
健康实例数、探测成功率与耗时、状态翻转次数、摘除原因分布、排空时长、发布窗口内的 5xx 与连接重置数、outlier 摘除比例。翻转次数最能说明阈值是否合理:频繁翻转意味着判定与业务恢复时间不匹配。
4.4 安全 / 性能 / 一致性边界
- 安全:健康端点会暴露版本与依赖状态,应限制来源或只返回最小信息。
- 性能:探测频率与并发会占用应用线程;探针走本地回环,避免绕外部入口。
- 一致性:健康是局部且滞后的视图,检测窗口内仍有请求打到坏实例,客户端超时与重试是必需补充。
- 容量:排空期间实例仍消耗资源,滚动发布要按“可用容量减一”规划,而不是按副本数。