1 / 4概念
TCP
TCP 要回答的是“两个进程之间是否要一条可靠有序的字节流”,以及这条流在建立、传输、关闭三个阶段各自留下什么可观测状态。读完本页应能读懂 ss -ti 的字段、用握手包判断连接卡在哪一步、并解释 TIME_WAIT 与 CLOSE_WAIT 为什么落在错误的一侧。
1 概念
1.1 一句话定义
TCP(Transmission Control Protocol)是在不可靠的 IP 之上,用序列号、确认、重传和窗口,为两个进程提供可靠、有序、全双工字节流的传输层协议。
1.2 它解决什么问题
- 可靠交付:IP 会丢包、重复、乱序;TCP 用确认与重传把“可能到达”变成“要么到达,要么连接明确断开”。
- 字节流抽象:应用不必关心分段与重排,只读到一个连续的字节序列。
- 接收方保护:接收窗口让快发送方不会撑爆慢接收方的缓冲区。
- 生命周期:提供建立、半关闭、完全关闭与异常中止的明确语义,使两端都能及时回收资源。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| cwnd、慢启动、CUBIC、BBR、ECN | Congestion Control |
| 数据报语义、无连接与放大风险 | UDP |
| 隧道头开销对 MSS 的影响 | Tunnels and VPN |
| epoll/io_uring、零拷贝 | I/O Models |
| TLS 握手、证书与密钥交换 | TLS / Certificate Chain and Validation |
| 连接级压测与延迟分布 | Performance Testing |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| segment | TCP 的传输单元,含首部与负载 | 不是应用层消息 |
| MSS | 单个段能承载的最大载荷 | 不等于链路 MTU |
| ISN | 初始序列号,握手时交换 | 不是从 0 开始 |
| seq / ack | 字节偏移与“下一个期望字节” | 不是包计数 |
| rwnd | 接收窗口,接收方剩余缓冲 | 不是拥塞窗口 |
| cwnd | 拥塞窗口,发送方对网络的估计 | 本页只作指针 |
| SACK | 选择性确认,报告收到的区间 | 不是否定确认 |
| TIME_WAIT | 主动关闭方等待旧包消散的状态 | 不是错误状态 |
2 机制
2.1 心智模型
把 TCP 想成两个各自记账的会计:账本上记的不是“第几个包”,而是“第几个字节”。发送方每发出一段就记下这段的字节区间,收到确认才把区间划掉;没被划掉的区间由超时或重复确认触发重发。窗口是账本的额度:接收方给出 rwnd 说明“我还能收多少”,网络侧给出 cwnd 说明“我敢发多少”,实际在途字节取两者与拥塞算法估计的最小值。握手不是仪式,是双方交换账本起始页码并确认对方既能发也能收。
2.2 机制拆解
- 三次握手:客户端发
SYN(seq=x, opts);服务端回SYN-ACK(seq=y, ack=x+1);客户端回ACK(ack=y+1)。三次而不是两次,是为了让双方各自确认“我的发送被对方收到”和“我收到了对方的发送”,同时用随机 ISN 让旧连接的重复段不会被误认。 - 选项协商:MSS 决定对端可发的最大段;WSCALE 把 16 位窗口放大到最多 2^14 倍;SACK permitted 允许选择性确认;timestamps 提供 RTT 测量与 PAWS 防回绕;TFO 让数据搭 SYN 一起走。
- 序列号与累积确认:ACK 号等于下一个期望字节,天然支持累积确认。累积确认的缺陷是丢一段就“卡住”后面所有段,SACK 用区间报告补齐这个洞。
- 超时与快速重传:RTO 由 SRTT 与 RTTVAR 平滑计算(RFC 6298),超时后指数退避,Linux 最小 RTO 200 ms、初值 1 s;收到 3 个重复 ACK 则不等 RTO 直接重发。RACK 用时间而非计数判断丢失,TLP 在尾包丢失时用探测包避免死等。
- 流量控制:接收方在每次 ACK 里更新 rwnd;窗口降到 0 时发送方停止发送并启动零窗口探测,避免双方互等。
- 关闭与半关闭:
shutdown(SHUT_WR)只发 FIN,读方向仍可用;close()才彻底释放。主动关闭方走FIN_WAIT_1 → FIN_WAIT_2 → TIME_WAIT,被动关闭方走CLOSE_WAIT → LAST_ACK;TIME_WAIT 停留 2×MSL 既为丢失的最后 ACK 留重传机会,也让旧重复段消散,避免污染同四元组的新连接。
2.3 完整枚举
TCP 连接的十一个状态,每个状态都有明确的进入条件与退出事件:
| 状态 | 进入条件 | 关键事件 | 退出到 | 常见成因 |
|---|---|---|---|---|
| CLOSED | 初始,无连接 | 主动打开 / 被动打开 | SYN_SENT / LISTEN | 正常起点 |
| LISTEN | 服务端调用 listen | 收到 SYN | SYN_RECV | 服务在等连接 |
| SYN_SENT | 客户端发出 SYN | 收到 SYN-ACK / SYN / 超时 | ESTABLISHED / SYN_RECV / CLOSED | 建连中;大量堆积说明对端不回 |
| SYN_RECV | 服务端收到 SYN 并回 SYN-ACK | 收到 ACK / 超时重传耗尽 | ESTABLISHED / CLOSED | 半开连接、SYN flood |
| ESTABLISHED | 三次握手完成 | 收到 FIN / RST / 应用关闭 | CLOSE_WAIT / CLOSED / FIN_WAIT_1 | 数据传输中 |
| FIN_WAIT_1 | 主动关闭方发出 FIN | 收到 ACK / 同时收到 FIN | FIN_WAIT_2 / CLOSING | 本方先关 |
| FIN_WAIT_2 | 主动关闭方收到 FIN 的 ACK | 收到对端 FIN / 超时 | TIME_WAIT / CLOSED | 等对端关闭,长期停留说明对端不 close |
| CLOSING | 双方同时发 FIN | 收到 ACK | TIME_WAIT | 同时关闭,少见 |
| TIME_WAIT | 主动关闭方收到对端 FIN 并回 ACK | 2×MSL 到期 | CLOSED | 主动关闭方集中处 |
| CLOSE_WAIT | 被动关闭方收到 FIN | 应用调用 close | LAST_ACK | 堆积说明应用没关 fd |
| LAST_ACK | 被动关闭方发出 FIN | 收到 ACK | CLOSED | 关闭收尾 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| TCP 首部 | 20–60 字节 | 选项越多越大,满选项 60 |
| IPv4 以太网 MSS | 1460 字节 | 1500 − 20 IP − 20 TCP |
| 初始 RTO | 1 s,下限 200 ms | 由 RTT 样本收敛 |
| 重传退避 | 指数增长,上限约 120 s | tcp_retries2 默认 15 |
| SYN 重试 | 6 次,约 127 s | tcp_syn_retries 默认 6 |
| 快速重传阈值 | 3 个重复 ACK | 可由 tcp_reordering 调整 |
| TIME_WAIT 时长 | 60 s | Linux 固定 2×MSL |
| 临时端口范围 | 32768–60999 | 单机对外连接数上限 |
3 实践
3.1 最小示例
# 1) 连接处在哪个状态、属于哪个进程
ss -tanp '( sport = :443 or dport = :443 )'
# 2) 单连接的内核视图:rtt、rto、cwnd、rwnd、重传、字节计数
ss -tin dst 203.0.113.10
# 3) 只抓握手与关闭,避免全量输出
sudo tcpdump -ni any -c 12 \
'host 203.0.113.10 and tcp port 443 and tcp[tcpflags] & (tcp-syn|tcp-fin|tcp-rst) != 0'
# 4) 看状态分布,判断 TIME_WAIT / CLOSE_WAIT 积压在哪一侧
ss -tan | awk 'NR>1{print $1}' | sort | uniq -c | sort -rn
# 一次连接的真实序号(tcpdump -S 输出,已简化)
SYN seq=1000 win=64240 opts[mss 1460,ws 7,sack,ts]
SYN-ACK seq=9000 ack=1001 win=65535 opts[mss 1460,ws 7,sack,ts]
DATA seq=1001 ack=9001 len=517 # 应用写入 517 字节
ACK seq=9001 ack=1518 win=129 # 1518 = 1001 + 517
FIN seq=1518 ack=9001 # 客户端先关:FIN_WAIT_1
ACK seq=9001 ack=1519 # 服务端:CLOSE_WAIT
FIN seq=9001 ack=1519 # 服务端 close:LAST_ACK
ACK seq=1519 ack=9002 # 客户端进 TIME_WAIT
3.2 常用操作与参数
| 操作 | 命令 / 参数 | 说明 |
|---|---|---|
| 看连接与进程 | ss -tanp | -t TCP、-a 全部、-p 进程 |
| 看内核 socket 细节 | ss -ti | rtt/rto/cwnd/rwnd/retrans 都在这里 |
| 同步队列溢出 | nstat -az TcpExtListenOverflows | 溢出即 SYN 被丢 |
| 抓握手与 RST | tcpdump 'tcp[tcpflags] & tcp-syn != 0' | 先限定 host 与 port |
| 开 keepalive | tcp_keepalive_time/idle/intvl | 默认 7200 s,通常太晚 |
| 扩临时端口 | sysctl -w net.ipv4.ip_local_port_range | 高并发出向连接必看 |
3.3 标准流程
- 先判定连接是长连接还是短连接,用
并发 = QPS × 平均时长估出连接数,再倒推端口与文件描述符预算。 - 核对监听侧 backlog 与
somaxconn,用ss -lnt的 Send-Q 与TcpExtListenOverflows确认突发 SYN 是否被丢。 - 握手阶段确认 MSS:有隧道或 PPPoE 时先定 MTU 预算,把 MSS 收紧到 1400 以下,避免大包黑洞。
- 传输阶段用
ss -ti同时看 rtt、retrans、cwnd、rwnd,先分清是丢包、流控还是应用写得慢。 - 明确关闭方:让客户端或负载均衡先关,把 TIME_WAIT 集中到连接数少、端口多的一侧;变更后同时用
ss、重传计数与应用 P99 交叉验证。
3.4 与相邻技术的组合
- TLS:TCP 建连之后才握手,多一个 RTT;TFO 与 TLS 1.3 可以把两段合并,但 0-RTT 数据有重放风险。
- HTTP/2:所有流复用一条 TCP,丢包时整条连接一起等,HOL 落在 TCP 层。
- QUIC:把可靠性与加密搬到 UDP 用户态,正是为了绕开 TCP 的 HOL 和内核实现节奏。
- 隧道与 VPN:外层封装吃掉 MTU,MSS 必须相应减小,否则表现为“小包通、大包卡”。
3.5 选型矩阵
| 选型维度 | 交互型短连接 | 长连接 / 批量传输 | 影响 |
|---|---|---|---|
| 连接生命周期 | 每次请求新建 | 复用数分钟到数小时 | 决定握手与 TIME_WAIT 成本 |
| keepalive | 可不设 | 必须设,短于中间设备超时 | 半开连接与幽灵请求 |
| backlog | 128–512 | 4096 以上 | 突发 SYN 是否被丢 |
| 关闭方 | 客户端主动 | 客户端或 LB 主动 | TIME_WAIT 落在哪一侧 |
| MSS / MTU | 默认 | 显式收紧到 1400 | 大包黑洞 |
| Nagle | 关闭(TCP_NODELAY) | 可保持开启 | 小包延迟与包量 |
3.6 决策规则
- 小请求、延迟敏感(RPC、数据库交互):设
TCP_NODELAY,不要与延迟确认互等。 - 短连接 QPS 高:先上连接池或 keep-alive,再谈端口与 TIME_WAIT 调优。
- 服务端
CLOSE_WAIT堆积:问题在应用没close(),改内核参数无效。 - 主动关闭方 TIME_WAIT 过多:让对端先关,或用
tcp_tw_reuse(仅出向,别指望 recycle)。 - 需要低延迟小消息且能容忍偶发重传:评估 QUIC,而不是硬调 TCP。
- 跨机房大吞吐:先算 BDP 与丢包率,再看缓冲,最后才动拥塞算法。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| TCP 长连接 | 成熟、穿透性好、内核优化充分 | 传输层 HOL、参数多 | 大多数 RPC、数据库、代理 |
| TCP 短连接 | 无状态、易水平扩展 | 握手与 TIME_WAIT 成本 | 低频调用、健康检查 |
| QUIC / HTTP/3 | 流级复用、0-RTT、可迁移 | UDP 可能被封、CPU 更高 | 移动端与公网 Web |
| UDP + 自研可靠层 | 完全可控 | 要重造重传与拥塞控制 | 游戏、实时媒体 |
| Unix domain socket | 不走协议栈,开销极低 | 仅限同机 | 同机进程通信 |
3.8 何时不该用
- 只需同机通信:Unix domain socket 比回环 TCP 更轻,也没有端口耗尽问题。
- 需要消息边界且不愿自己做分帧:UDP、SCTP 或 QUIC 流更贴合。
- 单向、可丢、量大(指标上报、日志):TCP 的重传与排序是纯开销。
- 一对多分发或广播:TCP 不支持组播与广播。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 建连超时,无 RST | SYN 被防火墙丢、路由黑洞、backlog 满 | mtr 确认路径,双向抓包看 SYN 是否到达 |
| 立即被拒(RST) | 端口未监听或对端主动拒绝 | ss -lnt 确认监听,查安全组与 iptables |
| 小包通、大包卡 | MSS/MTU 黑洞,PMTUD 被过滤 | 收紧 MSS,开 tcp_mtu_probing |
| 吞吐低且重传高 | 路径丢包、cwnd 被压 | ss -ti 看 retrans 与 cwnd,转 Congestion Control |
| 吞吐低但零重传 | rwnd 受限或应用写不动 | 看 rwnd 与 Send-Q,检查读取侧 |
CLOSE_WAIT 持续增长 | 应用收到 FIN 后未 close | 查 fd 泄漏,统一关闭路径 |
TIME_WAIT 占满端口 | 短连接高频且本方主动关 | 连接池、tw_reuse、让对端先关 |
| 固定 40 ms 级卡顿 | Nagle 与延迟确认互等 | 设 TCP_NODELAY |
| 长连接空闲后不可用 | 中间设备静默超时短于 keepalive | 调小 keepalive,加应用层心跳 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 先调一堆内核参数 | 掩盖真实丢包点 | 先抓包与看指标 |
迷信 tcp_tw_recycle | 该参数已移除,NAT 下会丢连接 | 用 tcp_tw_reuse 与连接池 |
| 无脑关闭 Nagle | 小包泛滥、网络开销上升 | 只对延迟敏感的小消息关 |
| 用 ping 通判断端口可用 | ICMP 与 TCP 策略可能不同 | 直接连目标端口 |
| 不设 keepalive 指望连接永活 | 半开连接堆积 | keepalive + 应用心跳 |
4.3 可观测信号
ss -ti 的 rtt、rto、retrans、cwnd、rwnd、bytes_acked;nstat -az 的 TcpRetransSegs、TcpExtListenOverflows、TcpExtTCPTimeouts;ss -s 的状态汇总;tcpdump 的 SYN/RST/dup ACK 证据;应用侧的建连耗时、P99 与超时率。判读顺序固定为“包到了吗 → 被拒了吗 → 到了为什么慢”,避免把应用慢误判成网络差。
4.4 安全 / 性能 / 一致性边界
- 安全:TCP 本身不加密、不认证;ISN 需随机化以防序列号猜测;SYN flood 依赖 SYN cookie 与 backlog 限制;任何中间人都能注入 RST 或篡改内容,机密性与完整性必须交给 TLS。
- 性能:吞吐上界约为
min(rwnd, cwnd) / RTT;丢包对吞吐是乘性惩罚;接收缓冲不足会让窗口成为瓶颈而非带宽。 - 一致性:TCP 只保证字节流有序且不重复,不保证消息边界,也不保证写成功等于对端应用已处理;应用必须自己做分帧与幂等。