1 / 4概念
Load Balancing
读完能选对层级、算法与转发模式,写清 TLS 在哪一跳解密、客户端地址如何传下去,并判断流量倾斜与 5xx 是调度配置问题还是后端问题。健康检查的判据与排空顺序留给下一篇。
1 概念
1.1 一句话定义
负载均衡器是客户端与后端之间的一层调度器:L4 只按地址与端口转发整条连接,L7 先解析应用协议再按主机、路径、请求头或 Cookie 逐个请求分配,并根据健康状态维护可用的后端集合。
1.2 它解决什么问题
- 分摊容量:单实例的并发与连接数都有上限,把负载摊到多个后端才能水平扩容。
- 隔离故障:后端异常时从集合中移除,用户只看到少量失败而不是整体不可用。
- 支持无中断发布:新版本按权重进入,旧实例排空后退出,发布不再等于停机。
- 集中横切能力:TLS 终止、请求改写、限流与访问日志收在一层,应用不必各写一遍。
- 避免退化方案:缺少这一层,扩容只能用 DNS 轮询凑数,故障要人工改配置,发布得断开连接。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| TCP 状态机与连接语义 | TCP |
| HTTP 方法、状态码与缓存语义 | HTTP |
| 健康检查判据、阈值与排空顺序 | Health Checks and Draining |
| 跨区域切流与 DNS 调度 | Global Traffic Management |
| 服务网格的 mTLS、重试与遥测 | Service Mesh |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| VIP | 客户端看到的虚拟入口地址 | 不是后端地址 |
| upstream / pool | 一组可接收流量的后端 | 不是单个实例 |
| DSR | 只改二层目的地址,后端直接回包 | 不是 NAT,回程不经过 LB |
| full NAT | 同时改写源与目的地址 | 必须保证回程经过 LB |
| IPIP / GRE | 用外层封装把原包送到后端 | 会额外消耗 MTU |
| PROXY protocol | 在连接开头传真实源地址 | 不是 HTTP 头,也不经应用解析 |
| session affinity | 同一客户端固定到同一后端 | 不是会话共享 |
| TLS passthrough | 按 SNI 转发但不解密 | LB 看不到任何应用内容 |
| 502 / 504 | 网关错误与网关超时 | 不是后端返回的业务码 |
2 机制
2.1 心智模型
调度器本身是有状态的,它同时持有三份数据:候选后端、健康视图与负载计数。L4 以连接为单位,一次选路就定下整条流的去向;L7 的调度单位是请求,同一连接上可以逐请求换后端。单位越小越灵活也越贵:连接级调度便宜透明,但长连接会让“最少连接”失去意义;请求级调度能做灰度与改写,代价是每个请求都要过一遍解析与路由。
2.2 机制拆解
- 接入:VIP 通过 ARP、NDP 或路由宣告生效;L4 收到包就转发,L7 先完成 TLS 握手再读请求。
- 选后端:在健康集合内按算法与权重选择,权重变更需要平滑而不是瞬切。
- 转发:NAT 改写目的地址(必要时也改写源地址),DSR 只改二层并让后端直接回包,IPIP 或 GRE 把原包封装后跨三层送到后端。
- 连接管理:与后端保持 keepalive 复用,与客户端按 idle timeout 回收;两端超时要错开,否则出现半开连接。
- 请求改写:L7 可改 Host、Path 与请求头,注入转发链信息,按 SNI 或路径做路由。
- 客户端身份:TCP 层用 PROXY protocol 传源地址,HTTP 层用转发头;两者的信任边界不同。
- 会话:默认应无状态;必须粘性时用 Cookie 或一致性哈希,并接受扩缩容带来的迁移。
2.3 完整枚举
| 算法 | 依据 | 优势 | 代价 | 适用 |
|---|---|---|---|---|
| 轮询 | 顺序 | 简单、可预测 | 不看负载 | 同构无状态服务 |
| 加权轮询 | 静态权重 | 支持异构容量 | 权重需人工维护 | 新旧实例混跑 |
| 最少连接 | 活跃连接数 | 适配长连接 | 不看处理耗时 | WebSocket、数据库代理 |
| 加权最少连接 | 连接数乘权重 | 兼顾容量与实时负载 | 参数多、难调 | 异构后端 |
| 最少响应时间 | 延迟加连接数 | 贴近真实体验 | 需持续采样 | 延迟敏感 API |
| 源地址哈希 | 客户端 IP | 天然粘性 | NAT 后高度集中 | 无 Cookie 的会话 |
| 一致性哈希 | 请求键 | 扩缩容迁移少 | 热点需虚拟节点 | 缓存、分片 |
| 随机 | 随机数 | 无状态、实现最简 | 短窗口内不均 | 大规模同构 |
| 两次随机 | 两次取样取优 | 抗集中、接近最优 | 需全局连接视图 | 大规模无状态 |
| Maglev | 哈希表 | 一致性好、查表快 | 实现复杂 | 大规模 L4 |
| 优先级 / 故障转移 | 主备顺序 | 切换顺序明确 | 备用容量闲置 | 主备与灾备 |
| 转发模式 | 改写点 | 回程路径 | 注意 |
|---|---|---|---|
| 全 NAT | 源与目的地址 | 必须经过 LB | conntrack 表与端口耗尽 |
| DSR(二层) | 目的 MAC | 后端直接回客户端 | 后端需配置 VIP 并抑制 ARP |
| IPIP / GRE | 外层封装 | 可跨三层 | MTU 减少 20 或 24 字节 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 到后端的 keepalive 连接 | 64–1024 | 小于后端处理能力即可 |
| connect timeout | 1–2 秒 | 必须短于读超时 |
| read timeout | 业务 P99 加余量 | 不要设成统一总超时 |
| idle timeout | 60–300 秒 | 长连接要放大 |
| slow start | 30–60 秒 | 恢复后渐进加权 |
3 实践
3.1 最小示例
upstream api {
least_conn;
server 10.0.1.10:8080 max_fails=3 fail_timeout=10s; # slow_start 需商业版
server 10.0.1.11:8080 max_fails=3 fail_timeout=10s;
keepalive 128;
}
server {
listen 443 ssl;
server_name api.example.com;
location / {
proxy_pass http://api;
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_connect_timeout 2s;
proxy_read_timeout 30s;
proxy_next_upstream error timeout http_502 http_503;
proxy_next_upstream_tries 2;
}
}
# 后端连接分布:某一列明显偏高说明调度不均
ss -tan state established '( sport = :8080 )' | awk 'NR>1{print $4}' | sort | uniq -c
3.2 常用操作与参数
| 操作 | 命令 / 配置 | 说明 |
|---|---|---|
| 看后端状态 | status 页或管理 API | 确认 UP/DOWN 与权重 |
| 手动摘除 | 权重置 0 或 disable | 先摘除,再改,再恢复 |
| 传真实源地址 | PROXY protocol 或转发头 | 明确哪一跳可信 |
| 分层超时 | connect、send、read、idle | 不要只配一个总超时 |
3.3 标准流程
- 定层级:只需要转发就 L4;需要按主机、路径或头路由,或需要改写请求就 L7。
- 定算法:无状态服务用最少连接或轮询;有分片或本地缓存用一致性哈希。
- 定转发模式:能改包就用 NAT;要大吞吐且后端可配 VIP 用 DSR;跨三层用 IPIP。
- 定 TLS 边界:终止、透传、重加密三选一,并写清谁能看到明文。
- 配超时与重试:建连、发送、读取分别设,重试只对幂等请求开放。
- 配客户端身份并压测:传递真实源地址,验证分布、P99、5xx 与连接数。
3.4 与相邻技术的组合
- Global Traffic Management:DNS 做地域选择,LB 做区域内的连接分配,两层都健康才有效。
- Kubernetes:Service 提供虚拟地址与 EndpointSlice,Ingress 在其上做 L7 路由。
- Service Mesh:Sidecar 承担 L7 重试、mTLS 与遥测,入口 LB 只处理边缘流量。
- HTTP:keepalive 与 h2 多路复用改变连接数的含义,让“最少连接”在大流量下失真。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 层级 | L4 / L7 | 可见信息、性能开销、可做的路由 |
| 协议 | TCP / UDP / HTTP/1.1 / h2 / gRPC | 调度单位与健康检查方式 |
| 转发模式 | NAT / DSR / IPIP / 反向代理 | 回程路径与 MTU |
| TLS | 终止 / 透传 / 重加密 | 解密点与合规边界 |
| 会话 | 无状态 / Cookie 粘性 / 哈希 | 扩缩容迁移与倾斜风险 |
| 部署 | 云 LB / 软件 / 硬件 | 弹性、成本、可控性 |
3.6 决策规则
- 只要 TCP 或 UDP 转发、追求吞吐与低延迟:L4 加 DSR。
- 需要按路径、请求头路由或做灰度:L7,并接受解析开销。
- 服务无状态:轮询或最少连接,不要默认开粘性。
- 有本地缓存或数据分片:一致性哈希加虚拟节点,并监控热点。
- 长连接为主:放大 idle timeout,把按连接计数换成按请求计数。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| L4(LVS、IPVS) | 高吞吐、低延迟、透明 | 看不到应用层 | 入口四层、数据库代理 |
| L7(Nginx、HAProxy、Envoy) | 路由、改写、TLS、可观测 | 解析开销、配置复杂 | HTTP 入口 |
| 云托管 LB | 弹性、集成证书与健康检查 | 成本、厂商锁定 | 云上业务 |
| 客户端负载均衡 | 少一跳、逐请求分散 | 需服务发现与统一配置 | gRPC 内部调用 |
3.8 何时不该用
- 需要端到端加密且中间不可解密:用 L4 透传,不要强行上 L7。
- 单实例且没有发布与扩容需求:LB 只多一跳和一份配置负担。
- 协议无法被解析(私有二进制、任意 UDP):只做 L4。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 502 Bad Gateway | 后端拒绝连接、崩溃或协议不匹配 | 查监听、TLS、版本 |
| 504 Gateway Timeout | 读超时小于业务耗时 | 对齐 P99,查慢查询与队列 |
| 流量严重倾斜 | 长连接、哈希热点或权重错误 | 换算法、加虚拟节点、核权重 |
| 发布期间 5xx 上升 | 未排空就关闭实例 | 先摘除,等在途结束 |
| 日志里全是 LB 的地址 | 未启用 PROXY protocol 或转发头 | 开启并校验信任链 |
| 源地址哈希后集中于少数后端 | 客户端在 NAT 后共用出口 | 改用 Cookie 或一致性哈希 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 只设一个总超时 | 慢请求占满连接 | 分层超时 |
| 对非幂等请求开重试 | 重复下单或扣款 | 只对幂等开放,或加幂等键 |
| 默认开粘性会话 | 扩缩容时大量会话失效 | 会话外置 |
4.3 可观测信号
按后端看 QPS、活跃连接、新建连接失败数、upstream 建连耗时、5xx 比例、队列长度与 P50/P99;入口看总连接数、TLS 握手失败、被拒连接与重试次数。入口日志与后端日志要用同一请求 ID 串联,否则无法判断 5xx 是谁产生的。
4.4 安全 / 性能 / 一致性边界
- 安全:TLS 终止点就是明文所在;透传模式下 LB 无法做任何应用层鉴权,边界退回到后端。
- 性能:L7 的每请求解析与 TLS 握手都有成本;keepalive 与连接复用配置不当会让 LB 自己成为瓶颈。
- 一致性:健康视图是局部且滞后的,摘除与恢复都有窗口,应用必须能容忍少量错误请求。
- 状态:任何粘性都把“无状态”变成“有状态”,扩缩容前先确认会话存储在哪里。