1 / 4概念
Async
async/await 不是多线程,也不是并行:它是一个线程在等待 I/O 时切换去执行别的任务。理解这一点,才能判断一段异步代码为什么在本地很快、在生产卡死,以及为什么 CPU 密集任务放进 asyncio 只会更慢。
1 概念
1.1 一句话定义
协程是可以在 await 处挂起的函数,事件循环负责在 I/O 就绪时恢复它们;asyncio 用单线程调度大量任务,把等待交给 selector 或线程池,CPU 计算仍受 GIL 限制。
1.2 它解决什么问题
- 等待不占线程:上万条连接可以共用一个线程,内存与上下文切换成本都低于线程模型。
- 取消与超时可控:任务可以在
await点被取消,超时用asyncio.timeout统一表达。 - 结构化并发:
TaskGroup让一组任务同生共死,失败时取消兄弟任务并聚合异常。 - 同步代码可隔离:
asyncio.to_thread把阻塞调用挪出循环,避免拖垮所有任务。 - 背压可表达:
Semaphore与有界Queue把并发上限写进代码,而不是靠上游限流。
代价是异步具有传染性,一个阻塞调用就会拖住整个循环;调试栈跨任务后更难读;CPU 密集任务没有收益。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 线程、进程、锁与共享内存 | Concurrency |
| GIL、引用计数、解释器实现 | Concept、Type |
| 异步装饰器与上下文管理器的实现 | AOP |
异常组与 except* 的语法细节 | Error |
| 事件循环之外的容器与部署 | 平台章节 |
| 类型注解与协程类型 | Type、Functions |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| event loop | 调度器,维护就绪队列与 I/O 注册 | 不是线程池 |
| coroutine | async def 返回的协程对象 | 创建后不会自动执行 |
| awaitable | 可被 await 的对象 | 协程、Task、Future 都是 |
| Future | 表示未来结果的低层对象 | 通常不直接创建 |
| Task | 被循环调度的协程包装 | 是 Future 的子类 |
| TaskGroup | 结构化并发容器 | 失败会取消兄弟任务 |
| cancellation | 协作式取消 | 只在 await 点生效 |
to_thread | 把同步函数放进默认线程池 | 取消不会终止线程 |
| executor | 线程池或进程池 | 与事件循环是两套调度 |
| backpressure | 用有界队列或信号量限流 | 无界 gather 会耗尽内存 |
2 机制
2.1 心智模型
把事件循环想成一个单线程的调度中心:它手里有一份准备好的回调队列,以及一张注册到 selector 的 I/O 表。任务执行到 await 时,如果等待的对象还没完成,就把自己挂起并把控制权交回循环;I/O 就绪后,循环把对应的任务放回就绪队列继续执行。
关键推论有三条:协程只在 await 点让出,纯计算代码不会被抢占;同一时刻只有一个任务在跑,所以共享数据没有线程竞争,但也没有 CPU 并行;等待的实质是“注册回调 + 让出”,任何阻塞调用都会让整个循环停摆。
2.2 机制拆解
- 循环与运行入口:
asyncio.run(main())创建一个新循环,运行到主协程结束,然后取消剩余任务、关闭异步生成器并关闭循环。它不能在已有循环内调用;asyncio.Runner(3.11)提供可复用的上下文管理器。 - 协程与任务:
async def只创建协程对象,必须被await或被包装成 Task 才会执行。asyncio.create_task立即调度;await coro则内联执行,不产生独立任务。循环只对 Task 持有弱引用,所以“发射后不管”的任务需要自己保存强引用,否则可能在执行中被回收。 - gather 与 TaskGroup:
gather并发等待多个 awaitable,return_exceptions=True时把异常当结果返回,失败时默认只抛出第一个而不会取消其余任务。TaskGroup(3.11)是结构化并发:任一子任务失败就取消其余任务、等待全部结束,再以ExceptionGroup抛出。 - 取消:取消是协作式的,
task.cancel()只是在下一个await点抛出CancelledError。捕获后必须重新抛出,否则取消被吞掉;需要保护内层任务不被取消时用asyncio.shield,但要自己处理外层已取消、内层仍在运行的事实。3.11 起Task.uncancel()让清理逻辑可以抵消一次取消。 - 超时:
asyncio.wait_for超时会取消被等待对象并抛TimeoutError;asyncio.timeout(3.11)是异步上下文管理器,作用域内所有await共享一个截止时间,超时后抛出同一个异常类型。 - 线程与进程的边界:
asyncio.to_thread(3.9)把同步函数提交到默认线程池,默认max_workers为min(32, cpu + 4);也可以用loop.run_in_executor指定池。线程池里的任务无法被真正取消,取消只放弃等待。CPU 密集任务应交给ProcessPoolExecutor,因为 GIL 仍在。 - 同步原语与背压:
Lock、Semaphore、Event、Queue都是为协程设计的,等待时让出循环而不是阻塞线程。Queue(maxsize=n)的put在满时等待,是最直接的背压手段;无界gather加上慢速下游,会把内存和连接数一起推高。 - 异步上下文与迭代:
async with调用__aenter__/__aexit__,async for调用__aiter__/__anext__;异步生成器需要aclose()或contextlib.aclosing确保清理。asynccontextmanager(3.7)把异步生成器变成异步上下文管理器。 - 调试与观测:
PYTHONASYNCIODEBUG=1或-X dev打开调试模式,循环会在回调阻塞超过slow_callback_duration(默认 100 毫秒)时告警;未取回的任务异常会在 GC 时打印 “Task exception was never retrieved”。
2.3 完整枚举
| 原语 | 用途 | 失败语义 | 版本 |
|---|---|---|---|
| 协程 | 可挂起的计算单元 | 必须被 await 或调度 | 3.5 |
create_task | 立即调度协程 | 异常存到 Task,取回才可见 | 3.7 |
gather | 并发等待多个结果 | 默认抛第一个,不取消其余 | 3.4 |
TaskGroup | 结构化并发 | 失败取消兄弟,抛异常组 | 3.11 |
asyncio.timeout | 作用域级超时 | 抛 TimeoutError 并取消 | 3.11 |
wait_for | 单对象超时 | 超时取消被等待对象 | 3.4 |
shield | 保护内层不被取消 | 外层取消,内层继续 | 3.4 |
Semaphore | 限制并发数 | 等待可用配额 | 3.4 |
Queue | 任务排队与背压 | 满时 put 等待 | 3.4 |
to_thread | 隔离同步调用 | 取消不终止线程 | 3.9 |
ProcessPoolExecutor | CPU 并行 | 受进程启动与序列化成本 | 3.4 |
| 异步上下文管理器 | 异步资源配对 | __aexit__ 返回值决定吞异常 | 3.5 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 协程切换 | 约 0.5–2 µs | 比线程上下文切换低一到两个数量级 |
| 创建任务 | 约 1–3 µs | 含协程包装与调度入队 |
| 单任务内存 | 约 1 KB 起 | 加上协程帧与等待对象 |
| 万级并发 | 10k 任务可行 | 内存通常几十 MB,受连接与缓冲限制 |
| 默认线程池上限 | min(32, cpu + 4) | 阻塞调用过多会排队 |
| 回调阻塞告警阈值 | 100 ms | loop.slow_callback_duration |
| GIL 切换间隔 | 5 ms | 与 asyncio 无关,但影响线程池 |
| 超时精度 | 毫秒级 | 受调度与系统定时器影响 |
3 实践
3.1 最小示例
import asyncio
import time
async def fetch(name, delay, fail=False):
try:
await asyncio.sleep(delay)
except asyncio.CancelledError:
print(f"{name} cancelled")
raise
if fail:
raise RuntimeError(f"{name} failed")
return name.upper()
def blocking_parse(raw):
time.sleep(0.05)
return len(raw)
async def main():
async with asyncio.TaskGroup() as tg:
a = tg.create_task(fetch("a", 0.02))
b = tg.create_task(fetch("b", 0.03))
print(a.result(), b.result())
async with asyncio.timeout(0.5):
size = await asyncio.to_thread(blocking_parse, "x" * 10)
print("size", size)
try:
async with asyncio.TaskGroup() as tg:
tg.create_task(fetch("ok", 0.2))
tg.create_task(fetch("bad", 0.02, fail=True))
except* RuntimeError as group:
print("failed:", group.exceptions)
asyncio.run(main())
第一组任务正常并发,TaskGroup 在退出时等待全部完成。第二组里 bad 失败后,TaskGroup 取消 ok,于是打印 ok cancelled,随后 except* 拿到聚合后的 RuntimeError。这段代码需要 3.11:TaskGroup 与 asyncio.timeout 都是该版本引入。
3.2 常用操作与参数
| 操作 | 调用 | 说明 |
|---|---|---|
| 运行主协程 | asyncio.run(main()) | 创建并关闭循环,不能嵌套 |
| 调度任务 | asyncio.create_task(coro) | 保留返回值,避免被回收 |
| 并发等待 | asyncio.gather(*aws) | 注意异常与取消语义 |
| 结构化并发 | async with TaskGroup() as tg | 子任务统一收尾 |
| 作用域超时 | async with asyncio.timeout(s) | 3.11 起 |
| 隔离阻塞 | await asyncio.to_thread(fn, *args) | 3.9 起,默认线程池 |
| 限制并发 | async with Semaphore(n) | 配合任务组使用 |
| 排队背压 | asyncio.Queue(maxsize=n) | put 满时等待 |
3.3 标准流程
- 先判断瓶颈:I/O 等待占主导才用 asyncio;CPU 密集直接走多进程或原生扩展。
- 选择异步库并贯穿到底:HTTP、数据库、缓存客户端都要有异步实现,混入同步驱动会阻塞循环。
- 用
TaskGroup组织并发,用Semaphore或Queue限制上限,不要直接gather上千个任务。 - 每个外部调用都加超时,并在
finally或__aexit__中清理连接与临时状态。 - 用
asyncio.all_tasks()与调试模式检查泄漏;为取消与超时写测试,而不只测成功路径。
3.4 与相邻技术的组合
- HTTP 客户端:
httpx.AsyncClient、aiohttp提供连接池与超时;连接池上限就是天然的并发上限。 - 数据库:
asyncpg、SQLAlchemy 异步引擎把等待交给驱动;事务边界用async with表达。 - Web 框架:FastAPI 在
async def路由里直接跑协程,def路由会进入线程池;混用会让容量估算失真。 - 可观测性:OpenTelemetry 的异步埋点依赖上下文传播,
TaskGroup内的 span 需要显式关联父子关系。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 负载类型 | I/O 密集 / CPU 密集 | CPU 密集用进程或原生扩展 |
| 并发规模 | 数十 / 数千 / 数万 | 规模越大越需要背压与连接池 |
| 生态支持 | 全异步 / 部分同步 | 同步库必须 to_thread 隔离 |
| 取消需求 | 强 / 弱 | 强则需要协作式清理与超时 |
| 团队经验 | 有 / 无 | 无经验时线程池更容易维护 |
3.6 决策规则
- 写成
async def的函数里不要出现同步阻塞调用;必须出现时用to_thread包起来。 - 并发任务用
TaskGroup,失败要聚合;不要用gather手工拼接异常。 - 每个外部调用都设超时,超时时间要小于上游的截止时间。
- 并发上限由下游配额决定,用
Semaphore或连接池显式表达,不要依赖“先跑起来看看”。 - 取消要在
finally中清理并重新抛出,不要吞掉CancelledError。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
asyncio | 单线程高并发、取消与超时完善 | 全链路异步、阻塞即全局停摆 | 高并发 I/O 服务 |
| 线程池 | 兼容同步库、模型简单 | 上下文切换贵、受 GIL 限制 | 阻塞 I/O、少量并发 |
| 多进程 | 真并行、隔离故障 | 启动与序列化成本、共享状态麻烦 | CPU 密集、批处理 |
| 原生扩展 | 绕过 GIL、性能最好 | 开发成本高、跨平台编译 | 热点计算 |
| trio / anyio | 结构化并发更彻底 | 生态较小、需适配 | 新项目、重视取消语义 |
3.8 何时不该用
- CPU 密集且没有异步 I/O:协程只增加调度开销,直接用多进程或原生代码。
- 一次性脚本或 CLI:同步代码更短,调试也更容易。
- 依赖库只有同步实现且无法替换:线程池加同步代码往往更省事。
- 需要硬实时或严格尾延迟:事件循环的排队与 GC 停顿都不受控。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 整个服务周期性卡住 | 协程里调用了阻塞函数 | 找出阻塞点,改用 to_thread 或异步库 |
| 任务从未执行 | 只创建协程没有 await 或调度 | 用 create_task 并保留引用 |
| 取消没有生效 | 捕获 CancelledError 后没有重抛 | 清理后重新 raise |
| 超时后连接仍在占用 | 超时只取消等待,未关闭资源 | 在 finally 中关闭,或让客户端超时更短 |
| 内存随并发上升 | 无界 gather 或 Queue | 限制并发与队列长度 |
| 任务异常没有日志 | 异常存进 Task 未被取回 | 对任务加回调或统一收尾 |
asyncio.run 报循环已运行 | 在协程内再次调用入口 | 拆出 main(),只在外层运行 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
在协程里用 time.sleep | 阻塞整个循环 | asyncio.sleep 或 to_thread |
用 gather 无上限并发 | 连接与内存耗尽 | Semaphore 或有界队列 |
用 create_task 后不保存引用 | 任务被回收或异常丢失 | 集合保存并统一 await |
用 to_thread 跑 CPU 密集任务 | 仍受 GIL,线程数膨胀 | ProcessPoolExecutor |
吞掉 CancelledError | 关闭与超时失效 | 清理后重新抛出 |
4.3 可观测信号
循环健康看事件循环延迟:在心跳任务里测量 sleep 的实际间隔,持续偏离说明有同步阻塞;看 slow_callback_duration 告警定位具体回调。任务层看 asyncio.all_tasks() 的数量与状态,堆积通常意味着下游变慢或缺少背压;看 “Task exception was never retrieved” 日志,它指向没有收尾的任务。连接层看连接池等待时间与排队长度,尾延迟上升往往先于错误率上升。
4.4 安全 / 性能 / 一致性边界
- 并行边界:asyncio 只提供并发不提供并行,CPU 密集任务仍受 GIL;free-threaded 构建才可能改变这一前提。
- 取消边界:取消是协作式的,线程池中的调用无法被真正终止;超时只保证不再等待,不保证副作用停止。
- 阻塞边界:任何同步 I/O、CPU 循环或锁等待都会阻塞整个循环;边界内的代码必须短小且非阻塞。
- 安全边界:无上限并发与无界队列可被慢下游或恶意请求放大成资源耗尽;连接数、队列长度与请求体都要设上限。
- 版本边界:
to_thread需要 3.9,TaskGroup、asyncio.timeout、uncancel需要 3.11;低版本只能用gather加wait_for模拟,取消语义并不等价。