1 / 4概念
I/O Models
I/O 模型决定“等待”发生在哪里。没有 readiness 与 completion 的区分,就会把 epoll 当异步、把 io_uring 当银弹;读完能判断该用阻塞线程、epoll 还是 io_uring,以及一次零拷贝到底省了哪次复制。
1 概念
1.1 一句话定义
I/O 模型是用户态发起 I/O 后,内核如何通知“可读/可写/已完成”,以及数据在用户缓冲区、内核缓冲区与设备之间如何移动的一套约定。
1.2 它解决什么问题
- 连接数:每连接一个线程在万级连接时先被栈和调度压垮;需要事件驱动或更轻的执行单元。
- 等待效率:阻塞读让线程睡眠,ready 通知让一个线程管理大量 fd。
- 数据复制:普通读写至少两次复制;零拷贝把复制次数降下来。
- 完成语义:readiness 只告诉你“现在可以读”,completion 才告诉你“读完了、读了多少”。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 进程/线程、调度、阻塞 | Processes & Threads |
| 文件系统、page cache | File Systems |
| HTTP/gRPC/WebSocket 协议 | Application Protocols |
| 网卡、DMA、PCIe | Hardware |
| 事件循环、V8/libuv | Runtime Environment |
| TLS 握手与证书 | Cryptography |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| 阻塞 | 调用不返回直到完成或出错 | 不等于同步 |
| 非阻塞 | 不能立即完成时返回 EAGAIN | 不是异步完成 |
| readiness | 现在可以读/写,但还没读 | 不等于数据已在用户缓冲区 |
| completion | 操作已完成,结果在 CQE | 不等于数据已消费 |
| LT | 水平触发,条件满足就一直通知 | 默认模式 |
| ET | 边沿触发,状态变化才通知 | 必须一次读到 EAGAIN |
| Reactor | 就绪事件驱动回调 | 以 readiness 为中心 |
| Proactor | 完成事件驱动回调 | 以 completion 为中心 |
| 零拷贝 | 减少用户/内核之间的复制 | 不是“完全不复制” |
| DMA | 设备直接访问内存 | 不是 CPU 拷贝 |
2 机制
2.1 心智模型
Reactor 问“什么时候可以读”,Proactor 问“读完了没有”。 epoll 是 Reactor:它返回就绪 fd,真正的 read/write 仍由你发起;io_uring/IOCP 是 Proactor:你提交操作,内核完成后把结果放进完成队列。阻塞 I/O 则把等待交给线程调度。
2.2 机制拆解
- 阻塞 I/O:
read()在内核等待数据,进程进入睡眠;数据到达后唤醒、复制到用户缓冲区、返回。一个线程只能管一个阻塞操作。 - 非阻塞 I/O:
O_NONBLOCK下,数据未就绪立即返回EAGAIN;通常要配合poll/epoll等待,否则就是忙轮询。 - select:用
fd_set传关注集合,返回后遍历所有 fd;FD_SETSIZE通常 1024,复杂度 O(n)。 - poll:用
pollfd数组,没有 1024 限制,但仍要遍历 O(n)。 - epoll:
epoll_create1建实例,epoll_ctl增删改,epoll_wait返回就绪链表;内核维护 interest list 与 ready list,避免每次全量扫描。LT 在条件满足时持续通知;ET 只在状态变化时通知,必须循环读到EAGAIN。 - io_uring:用户与内核共享 SQ/CQ 环形队列;提交 SQE,内核执行后写 CQE;支持注册缓冲区/文件、SQPOLL、IOPOLL、multishot accept/recv、provided buffers。Linux 5.1 起,早期内核功能不全。
- 零拷贝:
sendfile在页缓存与 socket 之间直接传输;splice用管道搬运页;copy_file_range在文件间复制;MSG_ZEROCOPY让发送缓冲区免复制;AF_XDP/RDMA 绕过内核协议栈。
2.3 完整枚举
POSIX 五种 I/O 模型:
| 模型 | 等待方式 | 数据复制 | 典型 API | 适用 |
|---|---|---|---|---|
| 阻塞 | 线程睡眠 | 内核→用户 | read/write | 低并发、简单 |
| 非阻塞 | 立即返回 EAGAIN | 内核→用户 | O_NONBLOCK | 配合多路复用 |
| 多路复用 | 等待多个 fd 就绪 | 内核→用户 | select/poll/epoll | 高并发网络 |
| 信号驱动 | SIGIO 通知 | 内核→用户 | F_SETOWN/O_ASYNC | 少见,信号难用 |
| 异步 | 提交后立即返回 | 内核→用户(可省) | POSIX AIO/io_uring | 高 IOPS、低延迟 |
零拷贝接口:
| 接口 | 复制次数 | 适用 | 限制 |
|---|---|---|---|
read + write | 2 次 | 通用 | 用户态中转 |
mmap + write | 1–2 次 | 文件发送 | 缺页、TLB |
sendfile | 0 次用户复制 | 文件→socket | 不能改内容 |
splice | 0 次用户复制 | 管道/文件→socket | 需要管道或 fd |
copy_file_range | 0 次用户复制 | 文件→文件 | 同文件系统更优 |
MSG_ZEROCOPY | 0 次发送复制 | 大块发送 | 需完成通知 |
AF_XDP / RDMA | 绕过内核 | 高性能网络 | 专用硬件/驱动 |
2.4 关键数字与复杂度
| 指标 | 量级 | 说明 |
|---|---|---|
| 系统调用 | 约 0.1–1 µs | 受缓解措施影响 |
epoll_wait 返回 | 约 1–10 µs | 与就绪数相关 |
| 上下文切换 | 约 1–5 µs | 线程模型的主要成本 |
FD_SETSIZE | 1024 | select 的硬限制 |
| io_uring 队列 | 通常 64–4096 项 | 2 的幂,按负载调 |
| 1M 连接内存 | GB 级 | 缓冲区和内核对象占主导 |
| NVMe 随机 IOPS | 10 万–100 万+ | 队列深度决定上限 |
| 零拷贝节省 | 一次内存复制 | 大块传输才明显 |
3 实践
3.1 最小示例
// 最小 epoll 循环(LT):accept 后把连接设为非阻塞,读到的数据原样写回。
int ep = epoll_create1(0);
struct epoll_event ev = {.events = EPOLLIN, .data.fd = listen_fd};
epoll_ctl(ep, EPOLL_CTL_ADD, listen_fd, &ev);
struct epoll_event events[64];
for (;;) {
int n = epoll_wait(ep, events, 64, -1);
for (int i = 0; i < n; i++) {
int fd = events[i].data.fd;
if (fd == listen_fd) {
int c = accept(listen_fd, NULL, NULL);
set_nonblocking(c);
struct epoll_event cev = {.events = EPOLLIN, .data.fd = c};
epoll_ctl(ep, EPOLL_CTL_ADD, c, &cev);
} else {
char buf[4096];
ssize_t r = read(fd, buf, sizeof buf);
if (r > 0) write_all(fd, buf, r);
else if (r == 0 || (r < 0 && errno != EAGAIN)) close(fd);
}
}
}
3.2 常用操作与参数
| 操作 | 命令 / API | 说明 |
|---|---|---|
| 提高 fd 上限 | ulimit -n、fs.file-max | 高并发先改限制 |
| 观察就绪 | epoll_wait 返回的 events | 只代表就绪,不代表读完 |
| 设置非阻塞 | fcntl(fd, F_SETFL, O_NONBLOCK) | 事件循环必须 |
| ET 读空 | 循环 read 到 EAGAIN | 否则丢事件 |
| 零拷贝发送 | sendfile(out, in, NULL, len) | 文件→socket |
| 跟踪 I/O | strace -e epoll_wait,epoll_ctl,read,write | 看事件与短读 |
| 看 socket 队列 | ss -ti | Recv-Q/Send-Q 与拥塞 |
| 统计连接 | ss -s | TIME_WAIT、orphan |
3.3 标准流程
- 先估算连接数、消息大小、延迟目标与每连接内存。
- 选择模型:少量连接可用阻塞线程池;大量空闲连接用 epoll;文件高 IOPS 用 io_uring 或线程池。
- 所有 fd 设非阻塞;注册读/写事件;处理短读/短写。
- 为 ET 写“一次读/写到
EAGAIN”的循环,避免丢事件。 - 加背压与上限:accept 队列、每连接缓冲、全局内存。
- 用
strace、ss -ti、perf trace验证事件、队列与延迟。
3.4 与相邻技术的组合
- 事件循环:libuv/Node.js 用 epoll/kqueue/IOCP 做 Reactor;阻塞调用会卡住整个循环。
- 网络协议:HTTP/2 多路复用、WebSocket 长连接都依赖非阻塞读写与背压。
- 文件 I/O:epoll 不适用于普通文件(总是就绪);用 io_uring、AIO 或线程池。
- 零拷贝与 TLS:TLS 需要加密,
sendfile不能直接处理明文;可用 kTLS 或接受复制。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 连接数 | 少 / 多 | 多则事件驱动 |
| 活跃比例 | 高 / 低 | 低活跃用 epoll |
| I/O 类型 | socket / 文件 | 文件看 io_uring/AIO |
| 延迟目标 | 低 / 一般 | 低延迟避免排队 |
| 内核版本 | 新 / 旧 | io_uring 需要 5.1+ |
3.6 决策规则
- 连接数几百以内、逻辑简单:阻塞线程池足够。
- 大量空闲连接:epoll(Linux)或 kqueue(BSD/macOS)。
- 文件高 IOPS、低延迟:io_uring;老内核用线程池 + 预读。
- 大文件发送/转发:
sendfile/splice;不要用户态中转。 - 需要 TLS:先评估 kTLS;否则零拷贝收益会被加密复制抵消。
- Windows:IOCP;跨平台库(libuv)会封装差异。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| 阻塞线程池 | 简单、易调试 | 线程栈与切换成本 | 低并发 |
| select | 可移植 | 1024 限制、O(n) | 教学/老代码 |
| poll | 无 1024 限制 | O(n) 遍历 | 中等连接 |
| epoll | O(1) 就绪、成熟 | 仅 Linux、ET 易错 | 高并发网络 |
| io_uring | 完成模型、低 syscall | 内核/安全限制、复杂 | 高 IOPS |
| 零拷贝 | 省复制、省 CPU | 限制多、难改内容 | 大块转发 |
3.8 何时不该用
- 不要用 ET 却不读到
EAGAIN:会静默丢事件。 - 不要用 epoll 管理普通文件:普通文件总是就绪,事件循环会空转。
- 不要在旧内核/受限 seccomp 上强上 io_uring:可能直接
ENOSYS/EPERM。 - 不要对小消息用零拷贝:系统调用与通知成本高于复制。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| CPU 100% 空转 | ET 未读到 EAGAIN,或对普通文件用 epoll | 循环读空;文件改用 io_uring/线程池 |
| 事件丢失、连接卡住 | EPOLLONESHOT 未重新注册 | 处理完后 epoll_ctl MOD |
| fd 持续增长 | accept 后未关闭/未注册 | 统一关闭路径,/proc/<pid>/fd |
| 短写导致数据截断 | 忽略 write 返回值 | 循环写直到完成或 EAGAIN |
把 EAGAIN 当致命错误 | 非阻塞语义未处理 | 等可写事件再重试 |
| 进程被 SIGPIPE 杀死 | 对端关闭后继续写 | MSG_NOSIGNAL 或忽略 SIGPIPE |
| io_uring 初始化失败 | 内核旧、seccomp 禁止 | 回退 epoll/线程池 |
零拷贝返回 EINVAL | 缓冲区/长度未对齐 | 按页/块对齐,检查接口限制 |
| 大量唤醒但只有少数连接活跃 | thundering herd | EPOLLEXCLUSIVE、SO_REUSEPORT |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 事件循环里调用阻塞函数 | 整个循环停摆 | 移到线程池或改异步 |
忙轮询 + sleep | 延迟与 CPU 双输 | epoll/io_uring 等待 |
| accept 队列无上限 | 内存与延迟失控 | 限制 backlog、加背压 |
| 忽略背压 | 发送缓冲无限增长 | 水位线 + 暂停读 |
4.3 可观测信号
strace -c 的系统调用分布、perf trace 的延迟、ss -ti 的 Recv-Q/Send-Q/重传、ss -s 的连接状态、/proc/<pid>/fd 的数量、bpftrace 的 read/write 延迟、ethtool -S 的丢包/队列、iostat 的磁盘队列。
4.4 安全 / 性能 / 一致性边界
- 就绪不等于完成:
epoll_wait返回后仍可能读到 0 或EAGAIN;必须处理。 - ET 正确性:必须在一次通知里读到
EAGAIN,否则事件不再来。 - 零拷贝假设:TLS、压缩、内容改写都会破坏“直接转发”的前提。
- 安全:seccomp 可能禁用 io_uring;校验长度、避免 TOCTOU;限制每连接缓冲。
- 背压:没有背压的事件循环会把内存当队列,最终 OOM。