1 / 4概念
Concurrency
并发模型的分歧不在语法,而在「谁负责挂起、谁负责恢复、失败传给谁」。三门语言给出三种答案:阻塞线程、挂起协程、把副作用写成值。判断标准不是会不会写 launch,而是能否说清一次阻塞或挂起之后,哪个线程被释放、哪个对象继续存活。
1 概念
1.1 一句话定义
平台线程是操作系统的调度单位,虚拟线程是 JVM 自己调度的轻量线程,协程是库调度的可挂起计算,effect 是把副作用描述成值再由运行时解释。四者最终都落在同一批平台线程上,差别只在等待期间谁被占用。
1.2 它解决什么问题
- 用有限线程支撑大量并发:每个请求一个虚拟线程,线程数不再是并发上限。
- 让取消与超时有统一语义:作用域一取消,子任务全部收到信号。
- 让共享状态有规则:
volatile、synchronized与原子类给出可见性和互斥。 - 让失败沿结构传播:一个子任务失败时,兄弟任务被取消而不是继续跑。
- 让阻塞代码不必重写:虚拟线程保留同步写法,不必先改成回调。
缺了这层模型,代码通常在两处崩掉:线程被阻塞调用占满,或者取消信号在层层回调里丢失。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| Java Memory Model、happens-before 与锁的实现 | JIT and Threads |
| GC 暂停、运行时参数与线程栈大小 | JVM Runtime |
| 挂起函数与协程作用域的类型规则 | Type System |
| 跨语言调用时的线程与上下文传递 | Interop and Selection |
| 浏览器的 async/await 与事件循环 | Async and Concurrency |
| 操作系统的进程、线程与调度 | Processes & Threads |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| 平台线程 | 由操作系统调度、与内核线程一一对应 | 不是协程,栈在创建时预留 |
| 虚拟线程 | JVM 调度的轻量线程,挂在载体线程上执行 | 不是协程,写法仍是阻塞式 |
| 载体线程 | 承载虚拟线程的平台线程 | 被钉住时无法被复用 |
| 钉住 | 虚拟线程阻塞在受限调用上,无法卸载 | 不是死锁,但会耗尽载体线程 |
| 协程 | 可挂起的计算,由调度器恢复 | 不是线程,也不自动并行 |
| 挂起点 | 协程可能让出线程的位置 | 取消只在挂起点生效 |
| 调度器 | 决定协程在哪个池上运行 | 不是线程池的别名 |
| 结构化并发 | 子任务的生命周期被父作用域包围 | 不是线程组 |
| 背压 | 消费端速度反馈给生产端 | 不是限流 |
| effect | 把副作用描述成值 | 不是异步的同义词 |
| fiber | effect 库里的轻量执行单元 | 与协程是同一层概念 |
2 机制
2.1 心智模型
三种模型回答同一个问题:等待时谁被占用。平台线程让出 CPU 但占住内核线程;虚拟线程让出载体线程,把栈帧搬到堆上;协程在挂起点把函数切成状态机,线程直接还给调度器。effect 库再往前一步,把「稍后要做的事」变成值,让取消、超时与资源释放都成为可组合的操作。
2.2 机制拆解
- 线程池:核心线程数、最大线程数、空闲存活时间、工作队列与拒绝策略共同决定行为,队列类型往往比线程数更影响结果。
- 虚拟线程:JDK 21 起可用,
Thread.ofVirtual()与newVirtualThreadPerTaskExecutor()是入口;阻塞时 JVM 卸载栈帧,载体线程转去执行别的虚拟线程。 - 钉住:早期版本里
synchronized会钉住载体线程,JDK 24 起这一限制被移除;本地方法与少数旧库仍可能钉住。 CompletableFuture:thenApply在完成线程或调用线程上执行,thenApplyAsync才会换线程;异常被包进CompletionException。- 挂起函数:编译器给函数追加
Continuation参数,把函数体改写成状态机,每个挂起点对应一个状态与一个标签。 - 调度器:协程在哪个池上恢复由
CoroutineContext决定,withContext只切换上下文,不新建线程。 - 结构化并发:
coroutineScope等待全部子协程,任一失败则取消其余;supervisorScope让失败互不影响,CoroutineScope决定子协程挂在哪个父节点。 - Scala 的两条路:
Future急切求值、依赖隐式ExecutionContext、没有取消;Cats Effect 与 ZIO 把计算写成惰性值,支持 fiber、取消与资源管理。 - 共享可变状态:
volatile保证可见性,synchronized与ReentrantLock保证互斥,AtomicLong与LongAdder用 CAS 换吞吐。 - 背压:有界队列、
Flow的buffer与conflate、Reactive Streams 的请求协议,都在把消费速度传回生产端。
2.3 完整枚举
三种语言的并发表述逐项对照:
| 能力 | Java | Kotlin | Scala |
|---|---|---|---|
| 执行单元 | Thread、ExecutorService | 协程 | Future、fiber |
| 轻量线程 | 虚拟线程(21 起) | 协程 | effect 库的 fiber |
| 结构化作用域 | StructuredTaskScope(预览) | coroutineScope | Supervisor、Scope |
| 取消 | Future.cancel、中断 | Job.cancel | fiber.cancel |
| 超时 | orTimeout、带超时的 invokeAll | withTimeout | IO.timeout、ZIO.timeout |
| 并行聚合 | allOf、invokeAll | awaitAll、async | parSequence、zipPar |
| 上下文传递 | ThreadLocal、ScopedValue | CoroutineContext | FiberRef、环境 R |
| 调度器 | 自定义 Executor | Dispatchers | ExecutionContext |
| 资源释放 | try-with-resources | use | Resource、Scope |
| 流与背压 | Flow(JDK 9) | Flow | FS2、ZIO Streams |
Kotlin 的调度器是一个封闭集合:
| 调度器 | 线程来源 | 适用 |
|---|---|---|
Dispatchers.Default | 共享固定线程池,大小等于核数 | CPU 密集计算 |
Dispatchers.IO | 共享池,默认上限取 64 与核数的较大者 | 阻塞 IO |
Dispatchers.Main | 平台主线程(Android、Swing、JavaFX) | 更新界面 |
Dispatchers.Unconfined | 在调用者线程恢复,不固定线程 | 测试与极轻量场景 |
Dispatchers.IO.limitedParallelism | 在已有调度器上再限并发 | 保护下游资源 |
线程池的行为由这几个参数共同决定:
| 参数 | 作用 | 常见误用 |
|---|---|---|
| 核心线程数 | 常驻线程数量 | 设得过大,空闲时也占资源 |
| 最大线程数 | 队列满后能扩到的上限 | 配无界队列时永远不生效 |
| 空闲存活时间 | 超出核心数的线程何时回收 | 设得过短导致反复创建 |
| 工作队列 | 待执行任务的缓冲 | 无界队列把内存拖到 OOM |
| 拒绝策略 | 队列与线程都满时的行为 | 默认抛异常却被上层吞掉 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 平台线程栈 | 512 KB–1 MB | 默认 -Xss,创建时预留 |
| 虚拟线程栈 | 数百字节起,按需增长 | 栈帧在堆上,可被卸载 |
| 协程对象 | 数百字节 | 状态机加续体,挂起时才分配 |
| 线程上下文切换 | 1–10 µs | 内核态切换,缓存随之失效 |
Dispatchers.IO 并行度 | 64 或核数取大 | 可用 limitedParallelism 收紧 |
ForkJoinPool.commonPool | 核数减一,至少 1 | CompletableFuture 异步阶段的默认池 |
3 实践
3.1 最小示例
一个挂起函数加一次取消,就能看清状态机与取消信号的配合:
suspend fun loadUser(id: Long): String = withContext(Dispatchers.IO) {
delay(50)
"user-$id"
}
fun main() = runBlocking {
val job = launch { println(loadUser(1)) }
delay(10)
job.cancelAndJoin()
println("cancelled=${job.isCancelled}")
}
追踪:loadUser 编译后变成 loadUser(long, Continuation),方法体开头是一个按标签分支的状态机。delay(50) 挂起时返回 COROUTINE_SUSPENDED,线程回到 runBlocking 的事件循环,IO 池上的线程被释放。delay(10) 先到期,cancelAndJoin 把 Job 置为取消并等待子协程结束,delay(50) 的续体恢复时发现已取消,抛出 CancellationException,因此 println 不执行,isCancelled 为 true。
对照 Java 的 CompletableFuture,同样的意图没有取消语义:supplyAsync 返回后组合出的链路只能等待,cancel 只把状态改成 CANCELLED,已经跑起来的任务不会停,fetch 继续占着线程直到返回。
3.2 常用操作与参数
| 操作 | Java | Kotlin | Scala |
|---|---|---|---|
| 提交任务 | executor.submit | launch、async | Future { } |
| 等待全部 | invokeAll、allOf | awaitAll | Future.sequence |
| 超时 | orTimeout | withTimeout | Await.result 带时长 |
| 取消 | Future.cancel | cancelAndJoin | 仅 effect 库支持 |
| 切换执行器 | 换一个 Executor | withContext | IO.shift |
| 限制并行度 | 固定大小线程池 | limitedParallelism | Semaphore |
| 共享计数 | AtomicLong | AtomicLong | Ref |
| 背压 | BlockingQueue | Flow.buffer | FS2 的 Queue |
3.3 标准流程
- 先判定任务形状,CPU 密集用固定线程池,IO 密集优先虚拟线程或协程。
- 定取消语义,所有长任务都应接受取消,并在挂起点或循环里检查。
- 定超时,每个外部调用都要有上限,超时后释放资源。
- 定共享状态,能不共享就不共享,必须共享时用不可变值加原子引用。
- 定背压,生产快于消费时用有界队列或
Flow的缓冲策略。 - 用测试验证并发行为,注入单线程调度器与可暂停的时钟,不用
Thread.sleep。
3.4 与相邻技术的组合
- Spring Boot:
spring.threads.virtual.enabled=true让请求处理走虚拟线程,阻塞式 JDBC 仍受连接池约束。 - JIT and Threads:
volatile与锁的可见性规则、happens-before 关系都在那一页,本页只讨论表达方式。 - JVM Runtime:GC 暂停会让所有线程一起停,虚拟线程不改变这一点。
- 数据库与 HTTP 客户端:阻塞驱动的 socket 读写会钉住载体线程,只有异步驱动才能兑现虚拟线程的收益。
- Type System:
suspend是类型的一部分,只能在协程里调用,这条规则由编译器检查。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 代码形状 | 阻塞 / 挂起 / 声明式 | 决定调试与栈可读性 |
| 并发规模 | 数百 / 数万 | 超过线程数就应换模型 |
| 取消需求 | 弱 / 强 | 阻塞线程无法被安全中断 |
| 生态兼容 | 阻塞驱动 / 异步驱动 | 决定模型能否兑现 |
| 团队经验 | 线程 / 协程 / effect | 决定故障定位速度 |
| 迁移成本 | 低 / 中 / 高 | 混用两种模型最贵 |
3.6 决策规则
- 存量阻塞代码多、并发量中等时,固定线程池足够,不必先上协程。
- 每请求一线程且 JDK 21 以上时,虚拟线程是改动最小的答案,但应取消池化。
- 需要结构化取消、超时与并行聚合时,用 Kotlin 协程或
StructuredTaskScope。 - 需要把副作用当值组合、要求资源安全时,用 Cats Effect 或 ZIO。
- 一门服务内宜只用一种并发模型,混用必须在边界处显式切换。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| 平台线程池 | 语义简单、栈可读 | 线程数受限、切换昂贵 | 中低并发、CPU 密集 |
| 虚拟线程 | 保留阻塞写法、可到十万级 | 需要 JDK 21 以上 | IO 密集服务 |
| Kotlin 协程 | 结构化取消、轻量 | 要理解调度器与作用域 | 新服务、Android |
Scala Future | 与集合 API 一致 | 急切求值、没有取消 | 已有 Scala 代码 |
| Cats Effect / ZIO | 资源安全、可组合 | 学习曲线陡、栈不直观 | 高可靠性服务 |
| Reactor / RxJava | 背压内建 | 操作符多、调试困难 | 流式管道 |
3.8 何时不该用
- 不要在没有取消需求的脚本里引入 effect 库。
- 不要在虚拟线程上再做池化,池化会抵消收益。
- 不要在协程里直接调用阻塞 API 而不切到
Dispatchers.IO。 - 不要用
GlobalScope,作用域泄漏时没人能取消。 - 不要把 Scala 的
Future当惰性值,它在构造时就已经启动。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 协程不返回,线程空转 | 在单线程调度器上执行阻塞调用 | 用 withContext(Dispatchers.IO) 包住 |
| 虚拟线程吞吐反而下降 | 池化了虚拟线程,或阻塞驱动钉住载体线程 | 每任务一个虚拟线程,换异步驱动 |
| 队列无限增长后 OOM | 使用了无界队列 | 换有界队列并配拒绝策略 |
CompletableFuture 异常被吞 | 没有处理 CompletionException | 补 exceptionally 或 handle |
| 取消后任务仍在跑 | 阻塞调用不响应中断 | 检查中断标志,或改用可取消的 API |
| 协程泄漏 | 用了 GlobalScope 或没人取消作用域 | 绑定生命周期,取消父作用域 |
Scala Future 不执行 | 缺少 ExecutionContext 或用了单线程池 | 显式传入并控制并行度 |
| 并发计数丢失 | 复合操作不是原子的 | 换 AtomicLong、LongAdder 或加锁 |
| 死锁 | 两把锁顺序相反,或线程池互相等待 | 固定加锁顺序,隔离线程池 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 池化虚拟线程 | 失去可扩展性 | 每任务一个 |
GlobalScope 启动协程 | 泄漏且无法取消 | coroutineScope 或注入作用域 |
用 Thread.sleep 等异步结果 | 阻塞调度线程 | delay 或 await |
| 无界队列 | 内存涨到 OOM | 有界队列加背压 |
| 混用两种模型不加边界 | 线程被悄悄占满 | 边界处显式切换执行器 |
4.3 可观测信号
活跃线程数与队列长度、任务耗时分布、协程数与 Job 层级、虚拟线程的载体线程占用、取消与超时次数、GC 暂停时间、jstack 里的阻塞点。
4.4 安全 / 性能 / 一致性边界
- 阻塞边界:虚拟线程与协程只把等待变便宜,真正的阻塞 IO 仍消耗内核资源。
- 取消边界:取消是协作式的,不检查中断的代码会继续跑完。
- 可见性边界:协程切换不带来任何内存语义,跨线程共享仍要靠锁或
volatile。 - 性能边界:切换变便宜不等于计算变快,CPU 密集任务换模型没有收益。
- 资源边界:连接池与文件句柄不由调度器管理,并发度提高会先打满它们。