1 / 4概念
Async
async fn 返回 Future,本身不执行;执行器负责轮询,反应器负责在 I/O 就绪时唤醒任务,Pin 保证状态机的地址稳定。Rust 标准库只提供 Future、Pin 与 Waker,不提供运行时。判断标准不是“用了 async 就会快”,而是能否区分 I/O 等待与 CPU 计算,并把阻塞、取消和 Send 边界放到正确的位置。
1 概念
1.1 一句话定义
async fn 被编译成实现 Future 的状态机,.await 在未就绪时挂起并让出执行器,执行器用 Waker 重新排队,Pin 保证自引用状态不被移动;取消一个任务就是 drop 它的 future。
1.2 它解决什么问题
- 每连接一线程在大量空闲连接下浪费栈与调度资源。
- 阻塞 I/O 让线程停在系统调用,无法处理其他任务。
- 取消、超时与背压缺少统一抽象,散落在业务代码里。
- 状态机跨
.await保存局部变量,地址必须稳定。 - 库绑定运行时会让调用方被迫接受同一套生态。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
线程、锁、通道与 Send/Sync 实战 | Concurrency |
| 所有权、借用与生命周期的语义 | Type |
Future/Pin 背后的 unsafe 契约 | Interop |
错误类型设计与 JoinError 处理 | Error |
| 追踪、指标与任务级观测 | 可观测性章节 |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| Future | 可被轮询的异步计算 | 不是 Promise,不会自动执行 |
Poll | Ready 或 Pending | Pending 不是错误 |
| Waker | 唤醒凭据 | 不唤醒就永久挂起 |
| executor | 轮询并调度任务 | 不是标准库的一部分 |
| reactor | 把 I/O 就绪转成唤醒 | 不是业务线程池 |
Pin | 固定内存地址的指针包装 | 不是锁 |
Unpin | 可安全移动的标记 | 大多数 future 不是 Unpin |
async fn | 返回 impl Future 的语法 | 调用时不执行函数体 |
| cancellation | drop future,无异步清理保证 | 依赖 Drop guard |
| cancel safety | 在任意 await 点取消仍安全 | 不是自动成立 |
spawn_blocking | 把阻塞任务移到专用线程池 | 不是普通 spawn |
2 机制
2.1 心智模型
把 Future 想成一台惰性状态机加一张唤醒凭据:poll 推进状态机,未就绪时返回 Pending 并交回 Waker;反应器在 I/O 就绪时调用 Waker,把任务重新放进就绪队列。Pin 是一份地址承诺——状态机里可能存着指向自身字段的引用,移动会让它失效。
2.2 机制拆解
- 惰性:
async fn的返回类型是impl Future,函数体在第一次poll之前一行都不执行。 - 状态机:每个
.await是一个可能挂起的点,跨 await 存活的局部变量成为状态字段,future 的大小由这些状态决定。 poll契约:返回Ready后不再 poll;返回Pending必须保证将来会被唤醒,否则任务永久挂起。- 执行器:维护就绪队列并循环 poll;tokio 多线程运行时用工作窃取在线程间调度。
- 反应器:通过 epoll/kqueue/IOCP 注册兴趣,事件到达时唤醒对应任务的
Waker。 Pin:!Unpin的 future 只能以Pin<&mut Self>轮询;Box::pin把状态机移到堆上获得稳定地址。Send要求:tokio::spawn要求 future 是Send + 'static;跨.await持有std::sync::MutexGuard会编译失败。- 取消:drop future 即取消,状态机被释放;清理依赖 Drop guard,非 cancel-safe 的 await 点会留下半成品状态。
2.3 完整枚举
异步运行时的组件与约束,按“谁负责什么”枚举:
| 组件 | 职责 | 提供方 | 关键约束 |
|---|---|---|---|
Future | 可轮询的计算 | std::future | 必须被 poll 才前进 |
Poll / Waker | 就绪状态与唤醒凭据 | std | Pending 后必须唤醒 |
| executor | 调度与轮询 | tokio、async-std | 无内置运行时 |
| reactor | I/O 就绪通知 | mio、tokio | 平台相关 |
Pin/Unpin | 地址稳定 | std::pin | 自引用结构的必要条件 |
async fn | 生成状态机 | 语言 | 返回 impl Future |
spawn | 提交任务 | 运行时 | Send + 'static |
select! | 多 future 竞速 | tokio、futures | 分支必须 cancel-safe |
| channel | 任务间通信与背压 | tokio、std | 有界才有背压 |
spawn_blocking | 阻塞任务池 | tokio | 线程数有限 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
每个 .await | 1 个挂起点 | 状态机一个分支 |
| future 大小 | 各状态最大值 + 判别标签 | 跨 await 的缓冲区直接进状态 |
Box::pin | 1 次堆分配 | 换取稳定地址 |
| tokio worker 默认 | CPU 核数 | worker_threads 可覆盖 |
| 定时器粒度 | 约 1 ms | 超时不会早于设定值 |
| 任务切换 | 百纳秒级 | 线程切换在微秒级 |
spawn 约束 | Send + 'static | 借用不能跨任务 |
3 实践
3.1 最小示例
不依赖任何运行时,用 std::future 手写一个最小执行器,观察状态机、Pending 与唤醒:
use std::future::Future;
use std::pin::Pin;
use std::task::{Context, Poll, Waker};
struct YieldNow(bool);
impl Future for YieldNow {
type Output = ();
fn poll(mut self: Pin<&mut Self>, cx: &mut Context<'_>) -> Poll<()> {
if self.0 {
Poll::Ready(())
} else {
self.0 = true;
cx.waker().wake_by_ref();
Poll::Pending
}
}
}
fn block_on<F: Future>(future: F) -> F::Output {
let mut cx = Context::from_waker(Waker::noop());
let mut future = std::pin::pin!(future);
loop {
match future.as_mut().poll(&mut cx) {
Poll::Ready(value) => return value,
Poll::Pending => std::thread::yield_now(),
}
}
}
async fn countdown(mut n: u32) -> u32 {
while n > 0 {
println!("tick {n}");
YieldNow(false).await;
n -= 1;
}
n
}
fn main() {
println!("done: {}", block_on(countdown(3)));
}
读法:countdown(3) 只构造状态机,block_on 里的 pin! 把它固定在栈上,poll 才真正推进。YieldNow 第一次返回 Pending 并调用 wake_by_ref,第二次返回 Ready;Waker::noop(1.85+)让这个示例不需要分配唤醒器,真实运行时则用它把任务放回队列。把 block_on 换成 tokio::spawn 时,countdown 的 future 必须满足 Send + 'static。
3.2 常用操作与参数
| 操作 | 写法 | 说明 |
|---|---|---|
| 启动运行时 | #[tokio::main]、Runtime::new() | 库代码不要自己启动 |
| 并发等待 | join!、try_join! | 全部完成才返回 |
| 竞速 | select! + biased; | 未选中的分支被 drop |
| 超时 | timeout(Duration::from_secs(2), fut) | 返回 Elapsed 错误 |
| 生成任务 | tokio::spawn(fut) | 要求 Send + 'static |
| 动态任务集合 | JoinSet::spawn + join_next | drop 时中止全部任务 |
| 阻塞任务 | spawn_blocking(move || ...) | 不占用 async worker |
| 背压 | mpsc::channel(1024)、Semaphore | 有界队列才有限流 |
| 取消 | handle.abort() 或 drop | 清理依赖 Drop |
3.3 标准流程
- 判定负载:I/O 等待为主用 async,CPU 计算为主用线程池。
- 库只暴露
async fn或impl Future,不启动运行时、不绑定 tokio。 - 应用入口建一个运行时,贯穿整个进程;逐个检查 await 点的 cancel safety,需要事务或清理的用 guard 或幂等设计。
- 阻塞调用放
spawn_blocking,CPU 并行交给 rayon 或独立线程池。 - 用
JoinSet、Semaphore与有界 channel 控制并发与背压,并给任务加超时。
3.4 与相邻技术的组合
- axum / hyper / tonic:基于 tokio 与 tower,异步中间件与路由天然组合。
- tracing:span 跨
.await传播,用instrument记录任务级耗时。 - rayon:CPU 密集切块并行,与 tokio 通过 channel 或
spawn_blocking协作。 - sqlx / reqwest:原生 async 驱动,连接池负责背压与超时。
- tokio-util:
CancellationToken统一传播取消,比裸abort更可控。
3.5 选型维度
| 场景 | 方案 | 理由 |
|---|---|---|
| 高并发 I/O | tokio + async | 单线程可挂起大量连接 |
| CPU 密集 | rayon / 线程池 | 不让计算占住 worker |
| 少量长连接 | 同步线程 | 代码简单、易调试 |
| 依赖只有阻塞 API | spawn_blocking 包装 | 隔离阻塞 |
| 需要结构化取消 | CancellationToken | 统一超时与级联取消 |
| 需要背压 | 有界 channel + Semaphore | 防止内存无限增长 |
3.6 决策规则
async只解决等待,不解决并行;CPU 并行必须显式交给线程池。- 任何可能超过 1 ms 的同步操作都不能直接放在 async 任务里。
- 跨
.await持有锁时,优先tokio::sync::Mutex而不是std::sync::Mutex。 - 选择
select!前先确认每个分支的 cancel safety。 - 任务必须拥有数据或使用
Arc,不要指望借用跨spawn存活。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| async + tokio | 高并发、低内存、生态完整 | 状态机复杂、调试难 | 网关、代理、服务端 |
| OS 线程 + 阻塞 I/O | 模型简单、栈可预测 | 每连接一份栈、切换贵 | 低并发、CPU 密集 |
| 事件循环 + 回调 | 无状态机、开销低 | 回调地狱、错误传播难 | 嵌入式、老代码 |
| goroutine(Go) | 运行时调度、写法同步 | GC 与调度器不可控 | 业务服务 |
3.8 何时不该用
- 并发连接数很低、逻辑以 CPU 为主时,线程模型更简单。
- 依赖库只有阻塞接口且无法安全包装时,async 只会增加复杂度。
- 团队缺少异步调试经验、又没有可观测性时,问题会以“卡死”形式出现。
- 需要严格实时性或确定性调度时,执行器与 GC 式的任务队列都不合适。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 延迟整体飙升、worker 满载 | async 任务里有阻塞调用 | spawn_blocking 或改异步 API |
| future 永不完成 | Pending 后没有唤醒 | 检查 poll 契约与 Waker |
spawn 编译失败 | future 非 Send 或含借用 | 拥有数据、缩小锁范围 |
| 持锁跨 await 报错 | std::sync::MutexGuard 非 Send | 改 tokio::sync::Mutex |
| 取消后数据不一致 | await 点非 cancel-safe | 事务、幂等或 Drop guard |
| 内存持续增长 | 无界 channel、任务泄漏 | 有界队列、JoinSet 清理 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 在 async 里跑 CPU 循环 | 整个 worker 停摆 | spawn_blocking/rayon |
用 std::thread::sleep | 阻塞调度线程 | tokio::time::sleep |
| 无界 channel 当队列 | 内存无限增长 | 有界 channel + 背压 |
select! 使用非 cancel-safe 分支 | 丢数据、半完成状态 | 先确认 cancel safety |
4.3 可观测信号
任务级:tokio-console 的任务数、poll 耗时、busy 比例与唤醒次数;运行时指标:worker 占用、就绪队列深度、spawn_blocking 队列长度、定时器延迟。链路级:tracing span 跨 await 的耗时与嵌套深度、任务 ID、取消原因。系统级:p99 延迟、线程数与 CPU、内存增长曲线。
4.4 安全 / 性能 / 一致性边界
- 安全:取消是 drop,不保证异步清理完成;跨 FFI 的阻塞调用与 panic 必须隔离,不能在运行时线程上展开。
- 性能:任务切换远便宜于线程切换,但状态机大小、
Box::pin分配与阻塞调用都会吞噬收益;future 越大,移动与缓存成本越高。 - 一致性:
async不等于并行,join!才是并发;取消点、背压与超时语义必须写进接口契约。 - 可移植性:标准库没有运行时,选 tokio 还是其他实现是架构决策,会渗透到依赖与 API 设计。