1 / 4概念
Congestion Control
拥塞控制决定一条连接“敢发多快”,而这个决定不是配置项,是算法。读完本页应能判断吞吐瓶颈在丢包、缓冲还是应用侧,能为不同链路选择 CUBIC 还是 BBR,并能解释 bufferbloat 为什么把延迟推高却不降低带宽。
1 概念
1.1 一句话定义
拥塞控制是发送方仅凭 ACK 的到达节奏与丢包、标记等信号,推断网络可用容量,并据此调整在途字节数(cwnd)与发送速率的一组算法。
1.2 它解决什么问题
- 避免拥塞崩溃:所有流同时提速会打爆瓶颈队列,必须有反馈回路让发送方退让。
- 利用链路:过于保守会让带宽闲置,算法需要在不越界的前提下持续试探上界。
- 区分丢包性质:拥塞丢包应退让,随机丢包(无线、光衰)不该被误判成拥塞。
- 与流控分工:rwnd 保护接收方的缓冲区,cwnd 保护网络中的队列,两者取小。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 握手、状态机、重传、TIME_WAIT | TCP |
| 数据报语义与 UDP 行为 | UDP |
| BDP、丢包率与吞吐数学 | Bandwidth, Latency and Loss |
| QUIC 的丢包检测与可插拔 CC | QUIC |
| qdisc 与 AQM 的内核实现细节 | Linux tc manual |
| 应用层限流、熔断与背压 | Microservices |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| cwnd | 发送方估计的可飞行字节数 | 不是接收窗口 |
| ssthresh | 慢启动与拥塞避免的分界 | 随丢包事件下移 |
| AIMD | 加性增、乘性减 | 不是所有算法都遵守 |
| 快速恢复 | 丢包后不完全回到起点 | 与快速重传成对出现 |
| CUBIC | 用三次函数按时间探测窗口 | 与 RTT 弱相关,但不公平于短 RTT |
| BBR | 按瓶颈带宽与最小 RTT 建模 | 不把丢包当拥塞信号 |
| pacing | 按速率均匀发,而非一次突发 | 需要 qdisc 配合 |
| ECN | 路由器标记拥塞而非丢弃 | 需要两端与路径都支持 |
| bufferbloat | 缓冲过大导致长时间排队 | 带宽没降,延迟爆炸 |
2 机制
2.1 心智模型
把路径想成一根有排队上限的水管,发送方看不见管子,只能从“回音(ACK)回来的速度”和“水是否溢出(丢包或标记)”猜容量。cwnd 是允许同时在管里的水量,灌得太快就在瓶颈处排队,排到溢出就是丢包。AIMD 的哲学很简单:缓慢试探、迅速退让;CUBIC 把它换成一条随时间变平的三次曲线;BBR 干脆不把丢包当信号,直接估计管子有多粗、有多长。
2.2 机制拆解
- 慢启动:cwnd 从 10 个 MSS 起步,每收到一个 ACK 增加一个 MSS,等效每 RTT 翻倍,直到达到 ssthresh 或出现丢包。
- 拥塞避免:Reno 每 RTT 只加一个 MSS;CUBIC 用
W(t) = C(t−K)³ + W_max描述窗口,靠近上次丢包点时增长慢、远离时增长快,对长肥管道更友好。 - 快速重传与快速恢复:收到 3 个重复 ACK 即重传缺失段,ssthresh 减半,窗口降到 ssthresh 后继续探测,避免一次丢包把吞吐打回原点。
- 超时恢复:RTO 到期说明反馈彻底断了,cwnd 回到 1–10 个 MSS,重新慢启动,这是最贵的路径。
- SACK 与 RACK:SACK 报告收到的区间,避免一次丢多个包时反复误重传;RACK 用时间判断丢失,比“3 个重复 ACK”更贴近真实。
- ECN:路由器在队列将满时标记 CE 而不是丢弃,接收方回显 ECE,发送方像对待丢包一样降窗,但不付重传代价。
- BBR 模型:持续测量投递速率与最小 RTT,令 cwnd ≈ BDP × gain,按 Startup、Drain、ProbeBW、ProbeRTT 四个阶段循环。
- 队列与 AQM:尾丢让所有流同时被打回,CoDel/fq_codel 按排队时间而非队列长度丢弃,把 bufferbloat 压回毫秒级。
2.3 完整枚举
连接的窗口只会在下列事件之一发生时改变窗口,没有列表之外的路径:
| 事件 | 判定条件 | cwnd 变化 | ssthresh | 进入阶段 |
|---|---|---|---|---|
| 慢启动推进 | cwnd < ssthresh | 每 ACK +1 MSS | 不变 | 慢启动 |
| 达到阈值 | cwnd ≥ ssthresh | 停止翻倍 | 不变 | 拥塞避免 |
| 拥塞避免推进 | cwnd ≥ ssthresh | 每 RTT +1 MSS 或按 CUBIC 曲线 | 不变 | 保持 |
| 3 个重复 ACK | 连续 dup ACK ≥ 3 | 降后回升(快速恢复) | max(FlightSize/2, 2 MSS) | 快速恢复 |
| 部分确认 | 恢复期内 ACK 未覆盖全部 | 不回退 | 不变 | 保持恢复 |
| 完全确认 | ACK 覆盖恢复点 | 收敛到 ssthresh | 不变 | 拥塞避免 |
| 重传超时 | RTO 到期 | 回到 1 MSS | FlightSize/2 | 慢启动 |
| ECN 回显 | 收到 ECE | 每 RTT 减半直至无 ECE | 随 cwnd | 拥塞避免 |
| 应用受限 | FlightSize < cwnd 且无新数据 | 不增长 | 不变 | 保持 |
| 持续拥塞 | 连续超时且无 ACK | 指数退避至下限 | 不变 | 慢启动 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 初始 cwnd | 10 MSS(约 14 KB) | RFC 6928 |
| 最小 RTO | 200 ms | Linux 实现值 |
| CUBIC 常数 C | 0.4 | 决定曲线陡度 |
| BBR Startup 增益 | 2.89 | 快速探到瓶颈带宽 |
| DCTCP 标记阈值 K | ≈ 0.17 × BDP | 数据中心场景 |
| 丢包与吞吐 | 吞吐 ∝ MSS / (RTT × √p) | Mathis 公式,p 为丢包率 |
| 100 Mbps × 100 ms | BDP 约 1.25 MB | 窗口小于此值即被限制 |
| fq_codel 目标排队 | 5 ms | 超过即按概率丢弃 |
3 实践
3.1 最小示例
# 1) 当前算法与内核支持的算法
sysctl net.ipv4.tcp_congestion_control
sysctl net.ipv4.tcp_available_congestion_control
# 2) 切到 BBR:需要模块与 fq 队列配合
sudo modprobe tcp_bbr
sudo sysctl -w net.core.default_qdisc=fq
sudo sysctl -w net.ipv4.tcp_congestion_control=bbr
# 3) 单连接的窗口、RTT、重传与投递速率
ss -tin dst 203.0.113.10
# 4) 瓶颈队列的积压与丢弃:backlog 与 drops 才是 bufferbloat 的证据
tc -s qdisc show dev eth0
# ss -tin 关键字段(一次 12 Mbps 的跨国传输)
cubic wscale:7,7 rto:204 rtt:38.2/9.1 mss:1448
cwnd:42 ssthresh:38 bytes_acked:1.2M
send 12.7Mbps pacing_rate 15.2Mbps delivery_rate 11.9Mbps
retrans:0/3 lost:1 retrans:0.3%
# 判读:cwnd 42 × MSS 1448 ≈ 60 KB,恰好等于 12 Mbps × 40 ms 的 BDP,
# 说明窗口是瓶颈;retrans 0.3% 说明丢包在可接受范围,先别急着换算法。
3.2 常用操作与参数
| 操作 | 命令 / 参数 | 说明 |
|---|---|---|
| 换算法 | sysctl -w ...=bbr | 需模块与 fq |
| 看队列积压 | tc -s qdisc show dev eth0 | backlog/drops/overlimits |
| 看重传计数 | nstat -az TcpRetransSegs | 全局视角,不看单连接 |
| 开 ECN | net.ipv4.tcp_ecn=1 | 需路径与对端支持 |
| 模拟丢包 | tc qdisc add ... netem loss 1% | 验证算法对丢包的敏感度 |
| 限制速率 | tc qdisc add ... tbf rate 100mbit | 复现瓶颈与排队 |
3.3 标准流程
- 先算 BDP:
带宽 × RTT,得出要跑满链路需要多少在途字节。 - 看
ss -ti里 cwnd 与 rwnd 谁更小,先排除接收窗口与应用侧写不动。 - 看重传率与
lost计数,区分拥塞丢包、随机丢包与链路错误。 - 看
tc -s qdisc的 backlog 与 drops,判断瓶颈队列是否过大或已溢出。 - 用同一路径、同一时间窗做 A/B,比较吞吐、重传与 P99,不接受只看峰值带宽的结论。
3.4 与相邻技术的组合
- TCP:cwnd 存在于每条连接,重传与 RTT 估计是算法的输入;调缓冲会间接改变算法的观察结果。
- QUIC:拥塞控制可在用户态替换,默认 CUBIC 也常配 BBR,升级不必等内核。
- 可观测:重传率与 RTT 分位数比 cwnd 绝对值更能反映用户体验。
- 应用限流:拥塞控制是最后一道闸,不能替代应用层背压与并发控制。
3.5 选型矩阵
| 选型维度 | 数据中心内网 | 移动 / 城域 | 跨国长肥管道 |
|---|---|---|---|
| 典型 RTT | < 1 ms | 20–80 ms | 150–300 ms |
| 典型丢包 | 极低,微突发为主 | 随机丢包,与拥塞无关 | 低但非零,跨运营商 |
| 瓶颈缓冲 | 交换机浅缓冲 | 基站与家庭网关深缓冲 | 中间设备混杂 |
| 首选算法 | DCTCP + ECN | CUBIC 或 BBR | BBR |
| 队列与 AQM | ECN 标记而非丢弃 | fq_codel 压 bufferbloat | fq + 合理缓冲 |
| 主要风险 | 微突发丢包被误判 | 无线丢包触发无谓降窗 | 窗口不足跑不满 BDP |
3.6 决策规则
- 没有明确证据、也不想运维:保持 CUBIC,先查缓冲与丢包。
- 跨境或长肥管道、丢包主要来自链路而非拥塞:选 BBR。
- 数据中心内网、交换机支持 ECN:DCTCP + ECN 优先于换算法。
- 延迟高但带宽没掉、队列长期积压:先上 fq_codel,而不是调 cwnd。
- 多租户共享瓶颈:慎用 BBR,评估它对其他流的抢占。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| CUBIC | 默认、稳定、对随机丢包尚可 | 依赖丢包信号,深缓冲下排队 | 通用互联网 |
| BBR | 高丢包与长肥管道吞吐好 | 公平性与深缓冲队列受质疑 | 跨国、移动、CDN |
| DCTCP | 低队列占用、低延迟 | 需 ECN 全路径支持 | 数据中心 |
| QUIC 自带 CC | 用户态迭代、可按连接选 | 受 CPU 与 UDP 封锁影响 | HTTP/3 |
| 应用层码率控制 | 按业务优先级决策 | 不感知网络,需自建反馈 | 实时音视频 |
3.8 何时不该用
- 应用自己排队(线程池、GC、下游超时)时,调拥塞控制只会掩盖真因。
- 深缓冲但不做 AQM,只换算法仍然会有数百毫秒排队。
- 路径上没有任何拥塞信号(无丢包、无 ECN)时,算法不会主动降速,别指望它自愈。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 吞吐远低于带宽、cwnd 很小 | 链路丢包导致反复降窗 | 看 retrans/lost,定位丢包跳 |
| 吞吐上不去但重传为零 | rwnd 受限或应用写不动 | 看 rwnd、Send-Q 与写入速率 |
| RTT 正常但延迟抖动大 | bufferbloat,队列长期积压 | tc -s qdisc,改 fq_codel |
| 换 BBR 后本方变快、他方变慢 | 共享瓶颈上的抢占 | 评估多租户公平性,必要时限速 |
| 吞吐呈锯齿且重传不多 | 深缓冲 + 尾丢 | 上 AQM,别只加缓冲 |
| 长肥管道只有理论值三分之一 | Mathis 公式下丢包被放大 | 降丢包或换 BBR |
| 开 ECN 后吞吐反而下降 | 标记过激或中间设备处理异常 | 看 CE 比例,回退 tcp_ecn |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
只调大 tcp_rmem | 排队时间上升,延迟变差 | 同时配 AQM 与合理缓冲 |
| 把 BBR 当万能药 | 共享瓶颈上抢带宽,引发争议 | 按链路与租户选择 |
| 用单流 iperf3 结果代表生产 | 忽略并发与公平性 | 多流、混合算法、真实路径 |
| 调大初始 cwnd 换首屏 | 突发丢包,反而更慢 | pacing + 连接复用 |
4.3 可观测信号
ss -ti 的 cwnd、ssthresh、rtt、retrans、delivery_rate;nstat -az 的 TcpRetransSegs、TcpExtTCPLostRetransmit、TcpExtTCPSlowStartRetrans;tc -s qdisc 的 backlog、drops、overlimits、ecn_mark;应用侧的 goodput、P99 与超时率。判读顺序是先分“窗口不够 / 丢包太多 / 队列太长”,再决定改算法还是改队列。
4.4 安全 / 性能 / 一致性边界
- 安全:拥塞控制可被滥用,激进算法能在共享瓶颈上抢走带宽;ACK 欺骗与伪造丢包信号同样能压低他人速率,边界设备应做速率与公平性约束。
- 性能:吞吐上界是
min(rwnd, cwnd) / RTT;丢包对吞吐是乘性惩罚;pacing 与 AQM 的效果依赖 qdisc 是否真正生效。 - 一致性:拥塞控制只影响速率与延迟,不影响正确性;丢包恢复仍由重传保证,算法选错不会导致数据错乱,只会让传输更慢或更不公平。