1 / 4概念
Async
C 标准库没有事件循环,也没有 await。异步在 C 里是一个手工搭建的结构:把 fd 设成非阻塞,向内核注册关心的事件,在一个循环里等待就绪,然后执行回调。写得对不对,取决于有没有处理 EAGAIN、有没有把边沿触发的事件抽干、以及回调里有没有偷偷阻塞。
1 概念
1.1 一句话定义
C 的异步是“等待不占线程”:非阻塞 I/O 返回 EAGAIN 时把控制权交回事件循环,内核通过 epoll、kqueue 或 poll 通知哪个 fd 就绪,循环再调用对应处理函数。
1.2 它解决什么问题
- 单线程撑住大量连接:每个连接不再需要一个线程栈,内存随连接数线性但常数很小。
- 避免上下文切换:事件循环没有线程调度开销,延迟更可预测。
- 统一事件源:socket、管道、定时器、信号都能变成“可等待的 fd”。
- 显式背压:可读与可写分开通知,应用自己决定何时暂停读取。
- 可组合:线程池负责阻塞调用,事件循环负责网络,两者通过队列衔接。
代价是控制流被拆成回调,阻塞一次就拖住整个循环,错误处理跨回调传播。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 线程、互斥量、原子与内存模型 | Concurrency |
errno、EINTR 与清理 | Error |
| 编译选项与库依赖 | Toolchain |
| 链接与装载 | Runtime: Linking and Loading |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| 非阻塞 | 调用立刻返回,未就绪时给 EAGAIN | 不是“更快”,是“不等待” |
| 就绪 | fd 可以读或写,操作仍可能短写 | 不是“数据已全部到达” |
| 水平触发 | 只要就绪就反复通知 | 不处理会忙循环 |
| 边沿触发 | 状态变化时通知一次 | 必须读到 EAGAIN |
| 事件循环 | 等待事件并分派的单线程 | 不是线程池 |
| Reactor / Proactor | 就绪通知 / 完成通知 | 不是同一种模型 |
2 机制
2.1 心智模型
异步 = 把“等”从线程里拿出来,交给内核。 线程只在有事件时运行:epoll_wait 阻塞,返回后按 fd 分派。所谓“并发”,是多个连接的事件在同一个线程里交替处理;所谓“并行”,才需要多个线程或进程。
2.2 机制拆解
- 非阻塞:
fcntl(fd, F_SETFL, O_NONBLOCK)或accept4/socket的标志位;read无数据返回 -1 且errno == EAGAIN。 - 多路复用:
select受FD_SETSIZE(通常 1024)限制;poll去掉上限但每次线性扫描;epoll用内核事件表,回调式返回就绪项;kqueue是 BSD 与 macOS 的对应物。 - 触发模式:水平触发(LT)在仍就绪时重复通知;边沿触发(ET)只在变化时通知一次,必须循环读到
EAGAIN,多线程下配EPOLLONESHOT防止并发处理同一 fd。 - 事件循环:注册、等待、分派三步;回调必须短,任何阻塞调用(磁盘 I/O、DNS、锁)都要移到线程池。
- 线程池:阻塞 I/O 与 CPU 任务放在 worker;完成结果通过队列或
eventfd唤醒循环。 - 完成式模型:POSIX AIO 与 Linux
io_uring提交请求后由内核完成,回调在完成队列上取;io_uring减少系统调用次数。 - 信号:
O_ASYNC+SIGIO或 self-pipe 把信号转成 fd 事件;处理函数里只能调用异步信号安全函数。
2.3 完整枚举
C 程序常见的 I/O 模型,这是完整集合:
| 模型 | 通知方式 | 扩展性 | 主要代价 |
|---|---|---|---|
| 阻塞 I/O | 调用返回即完成 | 每连接一线程 | 线程栈与切换开销 |
| 非阻塞轮询 | 应用反复尝试 | 差 | 空转消耗 CPU |
select | 就绪集合 | FD_SETSIZE 限制 | 每次重建集合 |
poll | 就绪数组 | 无上限 | 每次线性扫描 |
epoll | 内核事件表 | 高 | 仅 Linux,语义细节多 |
kqueue | 内核事件队列 | 高 | 仅 BSD 与 macOS |
信号驱动 SIGIO | 信号 | 中 | 信号安全限制严格 |
| POSIX AIO | 完成通知 | 中 | 实现质量参差 |
io_uring | 提交/完成队列 | 很高 | 内核版本与权限要求 |
2.4 异步与并发的区别
| 维度 | 异步 I/O | 并发 |
|---|---|---|
| 要解决的问题 | 等待时不占用线程 | 同时推进多个任务 |
| 典型手段 | 非阻塞 fd、事件循环 | 线程、进程、协程 |
| 单线程能否做到 | 能 | 能(交替执行) |
| 主要风险 | 回调阻塞拖垮全部 | 数据竞争与死锁 |
| 组合方式 | 事件循环加线程池 | 每线程可各自阻塞 |
3 实践
3.1 最小示例与追踪
示例展示 epoll 边沿触发的监听与读事件:监听 fd 用水平触发,连接 fd 用边沿触发并一次抽干。
/* 省略 socket/bind/listen;srv 为非阻塞监听 fd */
int ep = epoll_create1(0);
struct epoll_event ev = {.events = EPOLLIN, .data.fd = srv};
epoll_ctl(ep, EPOLL_CTL_ADD, srv, &ev);
for (;;) {
struct epoll_event evs[64];
int n = epoll_wait(ep, evs, 64, -1);
if (n < 0 && errno == EINTR) continue;
for (int i = 0; i < n; i++) {
int fd = evs[i].data.fd;
if (fd == srv) {
for (;;) { /* ET 风格:一次抽干 accept 队列 */
int c = accept4(srv, NULL, NULL, SOCK_NONBLOCK | SOCK_CLOEXEC);
if (c < 0) break;
struct epoll_event ce = {.events = EPOLLIN | EPOLLET, .data.fd = c};
epoll_ctl(ep, EPOLL_CTL_ADD, c, &ce);
}
} else {
char buf[4096];
ssize_t r = read(fd, buf, sizeof buf);
if (r > 0) write(fd, buf, (size_t)r); /* 真实代码要循环写 */
else if (r == 0 || (errno != EAGAIN && errno != EINTR))
close(fd);
}
}
}
追踪:epoll_wait 在无事件时阻塞,CPU 占用为 0;超时参数 -1 表示永久等待,定时任务要用 timerfd 或最近超时时间。EINTR 只重试等待,不丢事件。连接的 EPOLLIN | EPOLLET 意味着内核只在“可读状态变化”时通知一次,所以真实代码必须在 read 返回 EAGAIN 前持续读,否则剩余数据可能再也不触发通知。close 会自动把 fd 从 epoll 集合移除,但已排队的通知仍可能被返回,处理前要确认 fd 仍属于当前连接。accept4 的 c < 0 分支里 EAGAIN 是正常结束,EMFILE 与 EINTR 要分别处理;示例为简洁统一 break。
3.2 选型矩阵
| 场景 | 方案 | 理由 | 风险 |
|---|---|---|---|
| 连接少、逻辑简单 | 阻塞 I/O 加线程池 | 代码直白,调试容易 | 线程数随连接增长 |
| 大量空闲长连接 | epoll 边沿触发 | 单线程高扩展 | 漏读导致事件丢失 |
| 跨 Linux 与 BSD | poll 或 kqueue | 可移植 | epoll 专有接口不可用 |
| 高吞吐文件与网络 | io_uring | 批量提交,减少系统调用 | 内核版本与权限 |
| 统一处理信号 | signalfd 或 self-pipe | 信号进入事件循环 | 处理函数限制仍适用 |
3.3 决策规则
- 先确认“等”的对象是 fd 还是 CPU 任务;CPU 任务不要放进事件循环。
- 边沿触发就要写“读到
EAGAIN”的循环,并处理短写;水平触发要防止忙循环。 - 回调里禁止阻塞调用;必须阻塞时投递到线程池,并用
eventfd唤醒。 - 关闭 fd 前先注销或确保没有在途事件;复用 fd 号会混淆旧事件。
- 为每个连接维护读缓冲与写缓冲,
write短写时把剩余部分挂到EPOLLOUT。
4 边界
4.1 典型故障
| 症状 | 根因 | 诊断 | 修复 |
|---|---|---|---|
| 连接建立后收不到数据 | 边沿触发只读了一次 | strace 看是否只调用一次 read | 循环读到 EAGAIN |
| CPU 占用 100% | 水平触发但从不读取 | perf top 看到循环空转 | 未就绪时不注册或读空 |
| 单个回调拖慢全部连接 | 回调里做阻塞 I/O 或解析 | 打点看单次回调耗时 | 移到线程池 |
| 关闭连接后仍被回调 | 在途事件未清理 | 日志里 fd 号重复出现 | 用代际号或先注销 |
进程被 SIGPIPE 杀死 | 对端已关闭仍 write | core dump 显示 SIGPIPE | 忽略信号或用 MSG_NOSIGNAL |
| 大响应只发出一部分 | write 短写未处理 | 统计写入字节数 | 挂 EPOLLOUT 续写 |
| 定时任务漂移 | epoll_wait 超时基于上次时间 | 记录每轮耗时 | 用绝对时间计算下次超时 |
| 系统调用总被中断 | 未处理 EINTR | strace 看到 EINTR | 重试等待与读写 |
4.2 安全 / 性能 / 一致性边界
- 安全边界:回调里处理不可信长度,先校验再分配;
SIGPIPE必须屏蔽,否则对端断开即杀进程。 - 性能边界:事件循环的收益来自“不阻塞”,一旦有阻塞调用就退化为串行;系统调用批量化(
io_uring、sendmmsg)决定上限。 - 一致性边界:就绪不等于完成,读写都要处理短写与
EAGAIN;fd 关闭后事件可能残留。 - 模型边界:异步不是并发,单线程事件循环没有数据竞争,但也无法利用多核;需要多核时按 fd 分片到多个循环。