1 / 4概念
Concurrency
Rust 的并发分成两层:std::thread 提供操作系统线程,async 提供由执行器调度的任务。判断标准不是“用了 async 就会快”,而是能否区分 I/O 等待与 CPU 计算,并把阻塞、取消和共享状态放到正确的位置。
1 概念
1.1 一句话定义
async fn 被编译成实现 Future 的状态机;执行器轮询状态机,遇到未就绪的等待点就注册 Waker 并让出;Send 表示值可跨线程转移,Sync 表示值可被多个线程共享引用,编译器用这两个 auto trait 阻止不安全的共享。
1.2 它解决什么问题
- 每连接一线程的模型在大量空闲连接下浪费栈与调度资源。
- 阻塞 I/O 让线程停在系统调用,无法处理其他任务。
- 数据竞争只在压测时暴露,难以复现和定位。
- 取消、超时与背压在同步代码里缺少统一抽象。
Rust 把并发安全拆成编译期标记,把异步流程拆成可组合的状态机;代价是引入执行器、生命周期和取消语义。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 所有权、借用与生命周期 | Ownership and Borrowing |
| trait、泛型与错误类型 | Traits, Generics, and Errors |
unsafe 与 Send/Sync 的手写实现 | Unsafe and FFI |
| Cargo 依赖与构建产物 | Cargo and Quality Gates |
| 进程调度与 I/O 模型 | Processes & Threads、I/O Models |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
Future | 可被轮询的状态机 | 不是线程 |
poll | 执行器推进 future 的入口 | 返回 Poll::Pending 不是阻塞 |
Waker | 唤醒执行器重新轮询的回调 | 由执行器提供 |
| executor | 轮询 future 的调度器 | 标准库不提供 |
| runtime | executor 加定时器、I/O 与线程池 | tokio 是其中一种 |
| task | 被 spawn 的 future | 不是 OS 线程 |
.await | 让出点,不是新线程 | 未就绪时挂起 |
Send | 可跨线程转移 | 不是“线程安全”的同义词 |
Sync | 可被共享引用 | &T 可跨线程 |
| 取消安全 | 在 .await 处被丢弃不丢数据 | 不是所有 future 都满足 |
| 阻塞 | 占住线程不让出 | spawn_blocking 处理 |
| 背压 | 消费方通知生产方降速 | 有界通道才提供 |
2 机制
2.1 心智模型
一个任务是一台由编译器生成的电梯:每个 .await 是一个楼层按钮。执行器按按钮检查电梯能否继续,不能继续就记下唤醒方式,转去开另一部电梯。线程是电梯井,任务只是电梯里的乘客,可以换井。
2.2 机制拆解
- 状态机:
async fn的局部变量被存进生成的结构体;每个.await是一个状态,跨等待点存活的值必须放进状态机。 - 轮询契约:
poll返回Poll::Ready表示完成,返回Poll::Pending表示已注册Waker;违反契约会挂起或忙等。 - 执行器:
tokio的多线程运行时按核数启动 worker,任务在队列间工作窃取;当前线程运行时只用一个线程。 Send约束:tokio::spawn要求 future 满足Send + 'static;跨.await持有Rc或RefCell会让 future 不是Send。- 阻塞边界:async 代码里调用阻塞函数会占住 worker;CPU 密集或同步库应放入
spawn_blocking或专用线程。 - 取消:future 被丢弃时在最后一个挂起点停止;
select!的落选分支会被丢弃,落选分支必须取消安全。 - 通道与背压:有界通道满时
send().await挂起;无界通道没有背压,只是把内存当队列。 - 锁的选择:
std::sync::Mutex不能跨.await持有;跨等待点要用tokio::sync::Mutex或缩短临界区。 - 任务生命周期:丢弃
JoinHandle不会取消任务;要等待结果或显式 abort,否则任务泄漏。
2.3 完整枚举
执行模型,这是 Rust 并发的可用形式:
| 模型 | 调度者 | 适合 | 代价 |
|---|---|---|---|
OS 线程 std::thread | 内核 | 少量长期任务、阻塞调用 | 栈内存、上下文切换 |
作用域线程 thread::scope | 内核 | 需要借用栈数据 | 作用域内必须 join |
async 任务 tokio::spawn | 运行时 | 大量 I/O 等待 | future 状态机、Send 约束 |
阻塞池 spawn_blocking | 运行时线程池 | 同步库、CPU 短任务 | 线程数上限 |
数据并行 rayon | rayon 线程池 | 集合上的 CPU 计算 | 不处理 I/O |
| 原子操作 | 硬件 | 计数器、标志位 | 无锁算法难写 |
同步原语与通道,这是 tokio 的完整集合:
| 原语 | 语义 | 典型用途 |
|---|---|---|
mpsc::channel(n) | 多生产者单消费者、有界 | 背压队列 |
mpsc::unbounded_channel() | 多生产者单消费者、无界 | 已知流量上限 |
oneshot::channel() | 单值、单次 | 请求响应 |
broadcast::channel(n) | 每个订阅者一份 | 事件广播 |
watch::channel(v) | 只保留最新值 | 配置热更新 |
Semaphore | 令牌计数 | 限并发 |
Mutex | 独占锁 | 临界区 |
RwLock | 多读单写 | 读多写少 |
Notify | 唤醒等待者 | 条件通知 |
Barrier | 多任务在汇合点对齐 | 分阶段并行 |
OnceCell | 异步一次性初始化 | 延迟加载共享值 |
SetOnce | 只写入一次 | 不可变配置注入 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 任务切换 | 微秒级 | 通常低于线程切换 |
| 线程栈 | 默认 2 MiB | 每线程预留 |
| 阻塞池默认上限 | 512 个线程 | 可通过环境变量调整 |
| 运行时 worker | 约等于 CPU 核数 | 多线程运行时默认值 |
| future 大小 | 数百字节到数 KB | 等于最大状态 |
| 有界通道容量 | 由业务定 | 容量为零表示 rendezvous |
| 定时器精度 | 毫秒级 | 受运行时与系统时钟限制 |
3 实践
3.1 最小示例
一个有界通道的生产者与消费者,同时出现任务、背压与关闭语义:
use tokio::sync::mpsc;
#[tokio::main]
async fn main() {
let (tx, mut rx) = mpsc::channel::<u32>(2);
tokio::spawn(async move {
for value in 0..4 {
tx.send(value).await.unwrap();
}
});
while let Some(value) = rx.recv().await {
println!("{value}");
}
}
追踪一次执行:main 先创建容量为二的通道,再 spawn 生产者。生产者前两次 send 立即成功,第三次发现通道已满,send 返回 Pending 并注册 Waker,任务让出。消费者 recv 取走一个值后唤醒生产者,生产者继续发送。生产者循环结束后 tx 被丢弃,rx.recv 返回 None,消费者退出。tokio::spawn 要求 future 满足 Send + 'static,因此 tx 必须被移动到任务里。
3.2 常用操作与参数
| 操作 | 写法 | 说明 |
|---|---|---|
| 启动线程 | std::thread::spawn(f) | 需要 'static |
| 借用栈数据 | std::thread::scope(|s| { ... }) | 作用域结束前 join |
| 启动任务 | tokio::spawn(future) | 需要 Send + 'static |
| 阻塞调用 | spawn_blocking(f) | 交给阻塞池 |
| 有界队列 | mpsc::channel(n) | 提供背压 |
| 单值响应 | oneshot::channel() | 请求响应 |
| 事件广播 | broadcast::channel(n) | 慢订阅者会收到 Lagged |
| 最新配置 | watch::channel(v) | 覆盖旧值 |
| 限并发 | Semaphore::new(n) | 获取令牌 |
| 等待一组任务 | JoinSet | 可逐个取回结果 |
| 超时 | tokio::time::timeout(d, f) | 到点返回 Err |
| 竞速 | tokio::select! | 落选分支被丢弃 |
3.3 标准流程
- 先判断瓶颈:I/O 等待用 async,CPU 计算用 rayon 或阻塞池。
- 画出任务边界:谁拥有数据、谁负责取消、谁负责关闭。
- 所有队列设上限,让背压显式出现。
- 每个
.await都检查取消安全,尤其是select!的分支。 - 共享可变状态优先用消息传递,其次用锁,并缩小临界区。
- 用
JoinSet或显式句柄等待任务,避免丢弃句柄造成泄漏。 - 进程内只保留一个运行时,库不要自己创建运行时。
3.4 与相邻技术的组合
- 所有权:future 捕获的数据决定
Send与'static约束。 - 错误:
async函数返回Result,?在异步块中同样生效。 - Tracing:
tracing的 span 跨.await传递,需要Instrument。 - 网络:
hyper、axum构建在tokio之上,连接与请求都是任务。 - 数据并行:
rayon处理 CPU 密集集合并行,把结果交回 async 层。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 任务类型 | I/O / CPU / 混合 | 选择模型与线程池 |
| 并发量 | 数十 / 数万 | 线程模型是否可行 |
| 阻塞调用 | 有 / 无 | 是否需要阻塞池 |
| 背压 | 需要 / 不需要 | 有界或无界通道 |
| 取消要求 | 可丢 / 不可丢 | 取消安全设计 |
| 共享状态 | 无 / 读多 / 写多 | 通道或锁的选择 |
3.6 决策规则
- I/O 密集且连接数大时用 async;CPU 密集不要用 async 硬扛。
- 阻塞库没有异步版本时用
spawn_blocking或独立线程。 - 队列默认有界;容量由下游处理能力决定。
- 跨
.await不持有std锁,临界区内不做 I/O。 - 丢弃任务前明确:取消、等待还是 detach。
- 只有一个运行时;库只依赖 executor 抽象,不创建运行时。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| OS 线程 | 模型简单、可阻塞 | 栈开销、上下文切换 | 少量任务、同步库 |
| async 任务 | 高并发、内存小 | 状态机与生命周期约束 | 网络服务 |
| Go goroutine | 语法简单、运行时接管 | GC、调度不可控 | 云原生服务 |
| Java 虚拟线程 | 兼容阻塞式写法 | 生态适配仍在推进 | JVM 服务 |
| Node 事件循环 | 单线程模型简单 | CPU 密集受限 | I/O 网关 |
| Erlang 进程 | 隔离与监督强 | 生态与性能取舍 | 电信、消息系统 |
3.8 何时不该用
- 任务量只有几十个且都是阻塞调用时,线程更简单。
- CPU 密集计算应交给 rayon、线程池或独立进程。
- 团队没有异步调试经验时,先用同步模型把正确性做对。
- 需要严格实时保证时,async 的调度抖动不可接受。
- 库代码不应强迫调用方使用某个运行时。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
E0277 future 不是 Send | 跨 .await 持有 Rc、RefCell | 缩短持有范围或换 Send 类型 |
| 整个运行时卡住 | async 中调用阻塞 I/O 或 sleep | 异步 API 或 spawn_blocking |
| 死锁 | std::sync::Mutex 跨 .await 持有 | 用 tokio::sync::Mutex 或缩短临界区 |
| 任务消失 | 丢弃 JoinHandle,任务被 detach | 用 JoinSet 或显式 await |
| 内存持续上涨 | 无界通道或生产者过快 | 有界通道加背压 |
| 取消后状态损坏 | 落选分支不满足取消安全 | 用事务或幂等设计 |
| 任务 panic 无人知晓 | 忽略 JoinError | 检查 join 结果并记录 |
| 进程无法退出 | 阻塞任务拖住关闭 | 超时关闭、限制任务时长 |
| 嵌套运行时 panic | 在 async 中再建运行时 | 进程内共享一个运行时 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
在 async 中 block_on | 死锁或嵌套运行时 panic | 直接用 .await |
std::sync::Mutex 跨 .await | 持锁等待,其他任务饿死 | tokio::sync::Mutex |
| spawn 后不等待 | 任务泄漏、错误被吞 | JoinSet 或句柄 |
| 无界队列 | 内存打满 | 有界通道与背压 |
| 每个库自带运行时 | 线程与资源翻倍 | 由应用注入运行时 |
select! 不检查取消安全 | 消息丢失或重复 | 用取消安全的原语 |
| 长循环不让出 | worker 被独占 | yield_now 或拆任务 |
4.3 可观测信号
tokio-console 查看任务数、轮询耗时与阻塞点。tracing 输出跨 .await 的 span。指标关注任务队列长度、阻塞池占用、通道深度、P99 延迟与 panic 计数。生产侧还要看线程数与 RSS,任务泄漏通常表现为两者缓慢上升。
4.4 安全 / 性能 / 一致性边界
- 安全:
Send与Sync由编译器检查;手写unsafe impl要自行证明。 - 性能:async 不消除调度成本;future 越大,移动与轮询越贵。
- 一致性:取消可能发生在任意
.await,共享状态要保证取消安全。 - 可维护性:async 让调用栈不可见;错误的传播与任务边界要写清楚。