1 / 4概念
Concurrency
Python 的并发不是一种模型,而是三种模型加上一个约束:GIL 让同一进程的线程不能并行执行字节码,线程适合等待,进程适合计算,asyncio 适合单线程内的大量 I/O 等待。判断标准不是会不会写 await,而是能否说清这段代码阻塞了谁、谁在调度它、取消时资源由谁清理。
1 概念
1.1 一句话定义
CPython 进程里同一时刻只有一个线程持有 GIL 执行字节码;阻塞 I/O 与部分 C 扩展会释放 GIL,所以线程能掩盖等待但不能并行计算;asyncio 在单线程内用事件循环和协程实现协作式并发,multiprocessing 用独立解释器绕过 GIL 做真并行。
1.2 它解决什么问题
- 等待不占线程:
asyncio用一个线程承载成千上万个网络等待,内存与切换成本远低于线程。 - 兼容阻塞生态:线程模型让同步库(驱动、SDK、文件操作)在不重写的情况下并发。
- CPU 真并行:多进程利用多核,绕开 GIL 对字节码串行的限制。
- 可取消的工作:超时、断连、上游失败时停止下游任务并释放连接。
- 可控的并发度:信号量、队列和连接池把压力挡在系统容量之内。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 解释器、引用计数、对象生命周期 | Interpreter and Objects |
| 函数、生成器、上下文管理器 | Functions and Protocols |
| 虚拟环境与依赖锁定 | Modules and Packaging |
| 进程调度、页表与内存回收 | Processes & Threads、Memory Management |
| HTTP 语义与连接复用 | Application Protocols |
| JavaScript 的事件循环与微任务 | Async and Concurrency(JS) |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| GIL | 全局解释器锁,串行化字节码执行 | 不是语言规范,也不保证线程安全 |
| 切换间隔 | 线程主动让出 GIL 的时间片 | 默认 5 毫秒,可调但不建议 |
| 协程 | 可挂起与恢复的 async def 对象 | 不是线程,也不会自动并行 |
| 事件循环 | 调度就绪回调、I/O 事件与协程的循环 | 不是操作系统调度器 |
| Task | 被事件循环调度的协程包装 | 不是 Future,但可等待 |
| Future | 尚未完成的占位结果 | 通常由库创建 |
| 结构化并发 | 父任务等待并取消全部子任务 | TaskGroup 是标准库实现 |
| 取消点 | await 处可能抛 CancelledError | 不是所有 await 都能安全取消 |
| 背压 | 下游处理不过来时向上游施加等待 | 不是限流本身 |
| 线程池 / 进程池 | 复用固定数量的执行单元 | 不是无界扩容 |
| 自由线程构建 | 关闭 GIL 的 CPython 实验构建 | 不是默认解释器 |
| 执行器 | concurrent.futures 的线程或进程池抽象 | 异步代码用它桥接阻塞调用 |
2 机制
2.1 心智模型
把进程想成一个工位、GIL 是一道只允许一个人通过的门、事件循环是工位里的调度员。线程要排队过门,等待 I/O 时可以暂时离场;协程在门内主动让出,把“等”交给调度员;进程是多个工位,各自有门,代价是内存与序列化。
2.2 机制拆解
- GIL:解释器按切换间隔(默认 5 毫秒)在线程间移交 GIL;
time.sleep、文件与网络 I/O、部分 NumPy/C 调用会释放 GIL。释放是“可能发生”而不是“保证”,C 扩展不释放时整个进程的 Python 线程都会排队。 - 线程:
threading.Thread共享内存,Lock、RLock、Event、Condition、Queue提供同步原语;ThreadPoolExecutor复用线程,默认min(32, os.cpu_count() + 4)。线程适合阻塞 I/O 与遗留同步库,CPU 密集任务不会因加线程而变快。 - 进程:
multiprocessing为每个进程启动独立解释器,绕开 GIL。启动方式有spawn、fork、forkserver;macOS 与 Windows 默认spawn,Linux 长期默认fork,3.14 起改为forkserver。参数与返回值要可 pickle,ProcessPoolExecutor默认按 CPU 数建工作者。 - asyncio 调度:
async def调用返回协程对象,asyncio.run创建事件循环并驱动主协程。await把控制权交回循环,循环在 I/O 就绪或定时器到期时恢复协程。create_task立即排程,gather并发等待并可按return_exceptions收集错误,TaskGroup在任一子任务失败时取消其余任务并抛出ExceptionGroup。 - 取消:取消通过
CancelledError传播,3.8 起它继承BaseException,所以except Exception不会截住它。取消可能发生在任意await,清理代码必须放在finally或async with里;asyncio.shield只保护关键区段,不能替代取消处理。 - 超时:3.11 起用
asyncio.timeout(seconds)作为上下文管理器,比wait_for更容易组合;同步代码用连接超时与读取超时分开设置,不要只设一个总超时。 - 桥接:
asyncio.to_thread把阻塞函数放到默认线程池,loop.run_in_executor可指定执行器;反过来在线程里驱动协程要显式创建循环,通常说明分层放错了地方。 - 背压:有界队列、
Semaphore、连接池上限、流式响应与分页都是背压手段。没有上限的create_task会把内存和下游连接同时打满。
2.3 完整枚举
| 模型 | 并行方式 | 适用负载 | 主要代价 |
|---|---|---|---|
| 单线程同步 | 无 | 脚本、低并发服务 | 等待期间完全阻塞 |
| 多线程 | GIL 下并发不并行 | 阻塞 I/O、遗留 SDK | 共享状态与锁、内存开销 |
| 多进程 | 真并行 | CPU 密集、批处理 | 启动慢、序列化、内存翻倍 |
asyncio | 单线程协作式 | 大量网络等待、网关、爬虫 | 全链路需异步客户端 |
anyio / trio | 结构化并发 | 需要取消作用域与 nurseries | 生态与学习成本 |
gevent | 绿色线程补丁 | 旧同步栈快速并发 | monkey patch 不可控 |
| 自由线程构建 | 无 GIL 的多线程 | 共享内存的 CPU 并行 | 实验性、扩展兼容性 |
| 子解释器 | 隔离解释器,部分共享 | 插件隔离与并行 | 生态支持有限 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| GIL 切换间隔 | 5 毫秒 | sys.getswitchinterval() |
| 线程栈 | 约 8 MB 虚拟内存 | 实际驻留按需增长 |
| 线程创建 | 数十到数百微秒 | 远低于进程 |
| 进程启动 | 数十到数百毫秒 | spawn 比 fork 慢 |
| 协程对象 | 约 1 KB | 与连接状态相关 |
| 协程切换 | 微秒级以下 | 不涉及内核调度 |
| 线程池默认上限 | min(32, CPU + 4) | ThreadPoolExecutor |
| 进程池默认上限 | CPU 核数 | ProcessPoolExecutor |
| 单进程连接数 | 数千到数万 | 受文件描述符与内存限制 |
| 阻塞调用影响 | 整个事件循环停摆 | 一个同步调用即可拖垮并发 |
3 实践
3.1 最小示例
import asyncio
async def fetch(item: int) -> int:
await asyncio.sleep(0.01) # 代表网络等待,不要换成 time.sleep
return item * 2
async def main(items: list[int]) -> list[int]:
sem = asyncio.Semaphore(8)
async def guarded(item: int) -> int:
async with sem:
return await fetch(item)
async with asyncio.timeout(5):
async with asyncio.TaskGroup() as group:
tasks = [group.create_task(guarded(item)) for item in items]
return [task.result() for task in tasks]
if __name__ == "__main__":
print(asyncio.run(main(list(range(100)))))
追踪:TaskGroup 为每个条目创建 Task,Semaphore 把同时在飞的请求压到 8 个,timeout 到期时取消整个任务组;任一任务抛异常,其余任务被取消,ExceptionGroup 汇总失败。asyncio.run 负责建循环、执行、取消残留任务并关闭循环。
桥接阻塞库:
import asyncio
def blocking_query() -> list[dict]:
return [] # 假设是同步数据库驱动
async def handler() -> list[dict]:
return await asyncio.to_thread(blocking_query)
to_thread 把调用移进默认线程池,事件循环继续处理其他连接;线程池大小就是阻塞调用的并发上限,需要和连接池一起调。
3.2 常用操作与参数
| 操作 | 写法 | 说明 |
|---|---|---|
| 启动主协程 | asyncio.run(main()) | 一个进程只调用一次 |
| 并发等待 | asyncio.gather(*aws) | 默认遇错即抛,其余任务不自动取消 |
| 结构化并发 | async with TaskGroup() as tg: | 失败互相取消,错误聚合 |
| 超时 | async with asyncio.timeout(5): | 3.11 起可用 |
| 限并发 | asyncio.Semaphore(n) | 保护下游与内存 |
| 桥接阻塞 | asyncio.to_thread(fn) | 默认线程池 |
| 指定执行器 | loop.run_in_executor(pool, fn) | 可复用自己的线程池 |
| 延迟让出 | await asyncio.sleep(0) | 让出一次调度,不是等待 |
| 线程池 | ThreadPoolExecutor(max_workers=n) | 配合 as_completed |
| 进程池 | ProcessPoolExecutor(max_workers=n) | 任务与结果必须可 pickle |
| 调试模式 | PYTHONASYNCIODEBUG=1 | 报告慢回调与未等待协程 |
3.3 标准流程
- 先判定负载:等待网络/磁盘还是消耗 CPU,是否共享可变状态。
- 选模型:阻塞 I/O 用线程,CPU 密集用进程,高并发网络用
asyncio。 - 给并发设上限:信号量、连接池、队列容量至少有一个是硬的。
- 给每一次外部调用设超时,并区分连接、读取与总体预算。
- 设计取消路径:
finally释放连接、关闭文件、回滚事务。 - 观测:事件循环慢回调、线程数、队列深度、在飞请求数、进程池排队时间。
3.4 与相邻技术的组合
- FastAPI / Starlette:请求处理是协程,同步 ORM 调用必须放进
to_thread或换异步驱动。 - httpx / aiohttp:异步客户端共享连接池;池上限就是并发上限,不要另加无界任务。
- 数据库驱动:
asyncpg、aiomysql是异步协议栈;同步驱动在线程池里工作,事务边界要跟着线程走。 - Celery / 消息队列:把长任务移出请求路径,用独立进程消费;队列长度是背压信号。
- Docker / Kubernetes:进程数按 CPU 配额规划,别在 1 核容器里开 32 个工作进程。
- 自由线程构建:3.13 起提供实验构建;共享可变对象仍需锁,不能因为“没有 GIL”就假设线程安全。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 负载类型 | I/O 等待 / CPU 计算 | 决定线程、进程还是协程 |
| 并发规模 | 数十 / 数千 / 数万 | 决定线程数还是事件循环 |
| 生态形态 | 异步库 / 同步库 | 决定是否需要线程池桥接 |
| 状态共享 | 无 / 只读 / 可写 | 可写共享需要锁或换进程 |
| 失败语义 | 快速失败 / 部分成功 | 决定 gather 还是 TaskGroup |
| 部署形态 | 单进程 / 多副本 | 决定纵向扩展还是横向扩展 |
3.6 决策规则
- 网络等待占主导:
asyncio加异步客户端,别用线程堆连接。 - CPU 密集:
ProcessPoolExecutor、原生扩展或换语言;GIL 下加线程无效。 - 需要同步 SDK 且并发不高:线程池足够,别为异步重写整个调用链。
- 单个请求里既有 CPU 又有 I/O:把 CPU 段做成纯函数并丢进进程池,I/O 段保持异步。
- 任何外部调用都要超时;没有超时的并发只是把故障拖长。
- 一个进程只调用一次
asyncio.run;库代码不要自己建循环。 - 取消异常必须原样上抛;清理放在
finally,不要吞掉CancelledError。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
threading | 简单、兼容同步库 | GIL 限制、共享状态要锁 | 阻塞 I/O、低并发 |
multiprocessing | 真并行、隔离 | 启动与序列化成本 | CPU 密集、批处理 |
asyncio | 高并发、低内存 | 全链路异步化 | 网关、爬虫、实时 API |
anyio | 结构化取消、兼容 asyncio/trio | 额外依赖 | 需要严格取消语义的库 |
trio | nursery 语义清晰 | 生态较小 | 新项目、教学 |
gevent | 旧代码零改动并发 | monkey patch 难排查 | 遗留同步栈 |
| 自由线程 CPython | 共享内存并行 | 实验性、扩展兼容 | 受控实验 |
| 多副本部署 | 线性扩展、故障隔离 | 运维复杂度 | 无状态服务 |
3.8 何时不该用
- 单请求、低并发脚本:直接同步调用,异步只会增加复杂度。
- 硬实时或亚毫秒延迟:事件循环与 GC 抖动不可控。
- 团队没有异步全链路经验:同步代码加线程池往往更稳。
- 需要事务与共享连接状态:异步连接池的边界更难推理。
- 需要跨进程共享大量对象:序列化成本可能超过并行收益。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 服务吞吐骤降、所有请求变慢 | 协程里调用了 time.sleep、同步请求或重 CPU 计算 | 换异步库或 to_thread |
| 多线程 CPU 任务不变快 | GIL 串行化字节码 | 改多进程或原生扩展 |
日志报 coroutine was never awaited | 调用了协程函数却没 await 或没建 Task | 加 await 或 create_task |
日志报 Task exception was never retrieved | Task 失败但没人取结果 | 用 TaskGroup 或显式 await |
| 取消后连接没释放 | 清理写在 await 之后而不是 finally | 把释放放进 finally / async with |
| 进程池报 pickle 错误 | 任务闭包或返回值不可序列化 | 传模块级函数与简单数据 |
| 子进程启动后卡死 | fork 时父进程已有多线程或锁 | 改用 spawn / forkserver |
| 内存随并发上涨 | 无界 create_task 或队列 | 加 Semaphore 与有界队列 |
| 事件循环关闭后仍有回调 | 后台任务未取消 | asyncio.run 前 cancel 并 gather |
| 容器里 CPU 使用率异常 | 进程/线程数超过 CPU 配额 | 按配额设置工作者数量 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 在协程里调用阻塞函数 | 整个循环停摆 | to_thread 或异步客户端 |
| 用线程做 CPU 密集计算 | 无法并行,还增加开销 | 多进程或原生扩展 |
裸 except: 吞掉 CancelledError | 取消失效、任务泄漏 | 只捕获具体异常 |
无上限地 create_task | 内存与下游连接被压垮 | 信号量 + 有界队列 |
用 sleep 轮询结果 | 浪费调度、延迟不可控 | await 事件或 Future |
库代码里 asyncio.run | 已有循环时报错 | 让调用方管理循环 |
| 只设总超时、不设连接超时 | 慢连接长期占资源 | 分层设置超时 |
| 用 GIL 当线程安全保证 | 竞态仍会发生 | 锁、不可变数据或进程隔离 |
4.3 可观测信号
事件循环看开启 debug 后的慢回调警告与 asyncio.all_tasks() 数量;线程看 threading.enumerate() 与线程池排队长度;进程看 ProcessPoolExecutor 的 _pending_work_items 与 OOM 指标;卡死看 py-spy dump 与 faulthandler.dump_traceback_later;取消问题看任务栈里 CancelledError 的传播路径;连接问题看客户端连接池的等待时间与超时计数。
4.4 安全 / 性能 / 一致性边界
- GIL 边界:GIL 保护解释器,不保护业务对象;多线程写共享字典仍可能丢更新,自由线程构建会放大这个风险。
- 取消边界:取消只在
await与少数阻塞点生效;同步长计算无法被中断,需要拆段或换进程。 - 进程边界:进程间没有共享内存语义,pickle 版本与类定义必须一致;
fork继承锁与连接,启动后先重建资源。 - 性能边界:异步降低的是每个连接的等待成本,不是计算成本;CPU 上限由核数与算法决定。