1 / 4概念
Runtime: JIT and Threads
JIT 让同一份字节码在运行中变成针对真实负载的机器码,代价是预热期与假设失效后的回退。线程部分真正要回答的是两个问题:哪些写对读可见,以及一次阻塞要花掉多少资源。前者由 happens-before 决定,后者正在被虚拟线程改写。
1 概念
1.1 一句话定义
JIT 是按剖面把热点字节码编译成机器码的子系统,线程是 JVM 中唯一能并行执行字节码的单位。优化建立在假设上,假设失效就去优化;线程之间的可见性由 Java Memory Model 的 happens-before 定义。
1.2 它解决什么问题
- 启动即可运行:解释器先执行,不必等全量编译,短生命周期进程也能跑完。
- 按真实负载优化:剖面告诉编译器哪些类型真的出现,虚调用可以被去虚化并内联。
- 跨平台机器码:同一份字节码由各平台的 JIT 生成各自的指令,不必分发二进制。
- 给出可见性契约:JMM 用一套规则框定跨线程读写的结果,程序不必迁就具体硬件。
- 降低阻塞成本:虚拟线程把阻塞从“占一个操作系统线程”变成“释放载体线程”。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| class 文件、加载器与反射 | Class Loading |
| 堆与元空间布局、收集器与 OOM | Memory and GC |
| 打包、依赖与版本管理 | Build and Dependencies |
| 线程与锁的编程模型、并发容器 | Concurrency Models |
| 操作系统调度、上下文切换与阻塞 | Processes & Threads |
| 容器 CPU 限额与 OOMKilled | Kubernetes |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| C1 | 客户端编译器,编译快、优化浅 | 不是只用于客户端 |
| C2 | 服务端编译器,优化深、编译慢 | 不是唯一的编译器 |
| 分层编译 | 解释、C1、C2 按热度逐级升级 | 不是编译两次 |
| 内联 | 把被调方法的字节码并入调用者 | 不是宏替换 |
| 逃逸分析 | 判断对象是否逃出方法或线程 | 不是垃圾回收 |
| 去优化 | 假设被推翻后改走低级别代码 | 不是崩溃,也不是异常 |
| safepoint | 线程检查是否需要停下的轮询点 | 并非每条指令都能停 |
| happens-before | 两个操作之间的先后与可见约束 | 不等于墙钟时间上的先后 |
| 安全发布 | 让对象引用与内部状态一起可见 | 不是加锁的同义词 |
| 载体线程 | 承载虚拟线程的平台线程 | 不是虚拟线程本身 |
| pinning | 虚拟线程被钉在载体线程上 | 不是锁竞争 |
2 机制
2.1 心智模型
执行分三档:解释器负责立刻能跑,C1 负责快速编译,C2 负责深度优化。每次优化都拿着一组假设,剖面变化就让假设失效,代码退回低档执行,这叫去优化。线程侧真正影响性能的只有三种处境:跑字节码、等外部事件、走到 safepoint 上停着。
2.2 机制拆解
- 剖面与升级:调用计数与回边计数决定谁算热点,同时记录接收者的实际类型;达到阈值先送 C1,调用足够多再送 C2。
- 内联:小方法与热点方法默认内联,内联是逃逸分析、标量替换与去虚化能否生效的前提。
- 逃逸分析:对象不逃出方法时,字段可拆成局部变量,堆分配与随之而来的同步都能省掉。
- 循环优化:循环展开、边界检查消除与向量化,把逐元素处理变成批量处理。
- 去优化:遇到 uncommon trap 时生成回退代码,栈帧被重建,方法退回到较低级别执行。
- safepoint:轮询点插在方法返回与循环回边处;暂停时间包含“等人到齐”的时间,即 time to safepoint。
volatile:保证可见性与禁止重排,不保证复合操作的原子性。synchronized:同时给出互斥与可见性,退出临界区前的写对下一个进入者可见。- 安全发布:
final字段在构造完成后对所有线程可见,前提是引用没有在构造中逸出。 - 虚拟线程调度:虚拟线程由 JVM 调度,阻塞时 unmount 并把载体线程还给 ForkJoinPool,唤醒时重新 mount。
- pinning:在
synchronized块内或本地方法中阻塞时,虚拟线程无法卸载,载体线程被占住。
2.3 完整枚举
分层编译的五个级别:
| 级别 | 执行形态 | 说明 |
|---|---|---|
| 0 | 解释执行 | 采集调用与回边计数 |
| 1 | C1 无剖面 | 只做简单可靠的优化 |
| 2 | C1 带有限剖面 | 计数与少量类型信息 |
| 3 | C1 带完整剖面 | 为 C2 收集数据,最常用 |
| 4 | C2 | 内联、逃逸分析、循环优化全开 |
happens-before 的六条规则:
| 规则 | 保证 | 例子 |
|---|---|---|
| 程序顺序 | 单线程按代码顺序生效,先写后读必然可见 | 单线程语义不变 |
| 监视器锁 | 退出临界区前的写,对下一个进入者可见 | synchronized 退出与进入 |
volatile | 对它的写先于随后的读,之前的操作一并可见 | 状态标志位 |
| 线程启动 | start() 之前的写,新线程一定看得到 | 启动前传参 |
| 线程终止 | 线程里的写,在 join() 返回后对调用方可见 | 汇总子任务结果 |
| 传递性 | 两条规则首尾相接时合并成一条 | 组合上述规则 |
线程的六个状态:
| 状态 | 含义 | 常见来源 |
|---|---|---|
| NEW | 已创建未启动 | new Thread() |
| RUNNABLE | 可运行,含等待 CPU 与 IO | 正常执行 |
| BLOCKED | 等待进入监视器 | synchronized 竞争 |
| WAITING | 无限期等待 | wait()、join() |
| TIMED_WAITING | 限时等待 | sleep()、带超时的 await() |
| TERMINATED | 已结束 | run() 返回 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| C2 编译阈值 | 约 1 万次调用或回边 | 受剖面与 -XX:CompileThreshold 影响 |
| 小方法内联上限 | 35 字节 | -XX:MaxInlineSize |
| 热点方法内联上限 | 325 字节 | -XX:FreqInlineSize |
| 默认代码缓存 | 240 MB | 超出后编译器被禁用 |
| 平台线程栈 | 512 KB–1 MB | -Xss 决定,按线程计 |
| 虚拟线程初始栈 | 数百字节起 | 按需增长,存于堆 |
| time to safepoint | 通常 1 毫秒以内 | 长循环或大拷贝可达数十毫秒 |
| 编译线程数 | 与 CPU 核数相关 | 容器内按配额计算 |
3 实践
3.1 最小示例
一个热点方法加一段可观测的编译日志,用来区分“没编译”和“编译了又被回退”。
public class Hot {
static int work(int n) {
int s = 0;
for (int i = 0; i < n; i++) {
s += i % 7;
}
return s;
}
public static void main(String[] args) {
long total = 0;
for (int i = 0; i < 100_000; i++) {
total += work(1_000);
}
System.out.println(total);
}
}
javac Hot.java
java -XX:+PrintCompilation -Xlog:safepoint Hot
追踪:前几千次调用走解释器;编译日志随后逐行打印事件,每行由时间戳、编译编号、级别与方法名组成,例如 45 1 3 Hot::work (24 bytes);级别从 3 升到 4 说明 C2 接手。再往后 Hot::work 会以 inline (hot) 的形式出现在 main 的编译行里,说明调用点被内联。同一份输出里若出现 made not entrant,就表示某次优化假设失效,方法退回低级别执行。-Xlog:safepoint 同时给出每次暂停的总时长与应用线程到达 safepoint 的时间,两者之差才是“等人”的成本。
3.2 常用操作与参数
| 操作 | 命令 / 参数 | 说明 |
|---|---|---|
| 看编译事件 | -XX:+PrintCompilation | 级别、字节数与内联都能看到 |
| 看去优化 | -XX:+PrintCompilation 的 made not entrant | 配合 JFR 的 Deoptimization 事件 |
| 看 safepoint | -Xlog:safepoint | 暂停总时长与到达时间 |
| 代码缓存 | jcmd <pid> Compiler.codecache | 看已用与剩余空间 |
| 线程转储 | jcmd <pid> Thread.print | 看阻塞、锁与死锁 |
| 虚拟线程转储 | jcmd <pid> Thread.dump_to_file -format=json | 平台线程与虚拟线程分开看 |
| JFR | -XX:StartFlightRecording=duration=60s | 编译、去优化、锁与虚拟线程事件 |
| 限制编译级别 | -XX:TieredStopAtLevel=1 | 短启动场景只保留 C1 |
| 载体线程数 | -Djdk.virtualThreadScheduler.parallelism | 默认等于 CPU 核数 |
3.3 标准流程
- 先固定负载与预热轮次,再谈延迟数字,冷启动与稳定态分开报告。
- 用
-XX:+PrintCompilation与 JFR 确认热点方法确实被 C2 编译,并统计made not entrant的比例。 - 用 happens-before 规则审查共享可变状态,逐条指出依赖的是哪一条。
- 阻塞密集的服务评估虚拟线程,先排查
synchronized与本地调用造成的 pinning。 - 观察 time to safepoint,长循环与批量拷贝要拆分。
3.4 与相邻技术的组合
- 容器:CPU 限额会同时压缩编译线程数与业务线程,safepoint 等待随之变长。
- 并发库:
java.util.concurrent建立在 CAS 与volatile上,AQS 的可见性依赖同一套规则。 - 可观测:JFR 的编译与去优化事件要和业务 QPS 放在同一时间轴上看。
- 原生调用:JNI 期间线程处于 in_native 状态,长时间不返回会推高 time to safepoint。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 启动预算 | 宽松 / 极短 | 是否用 C1 限级、CDS 或 AOT |
| 延迟目标 | 稳定低延迟 / 允许抖动 | 预热策略与编译预算 |
| 并发模型 | 平台线程 / 虚拟线程 / 响应式 | 阻塞成本与代码复杂度 |
| 阻塞比例 | 低 / 高 | 线程数与载体线程数 |
| 观测手段 | 日志 / JFR | 开销与精度 |
| 代码特征 | 单态 / 多态调用 | 去虚化与内联能否生效 |
3.6 决策规则
- 默认开启分层编译,只有极短启动场景才考虑
-XX:TieredStopAtLevel=1。 - 延迟敏感的服务必须预热,并把预热轮次写进压测脚本。
- 热路径减少分配,让逃逸分析有机会把对象拆成标量。
- 共享可变状态在
volatile、synchronized与final三者中明确选一条,不要靠时序巧合。 - 阻塞密集且线程数上万时用虚拟线程;临界区里有阻塞调用就先重构。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| 纯解释执行 | 启动最快、内存最省 | 峰值性能低 | 一次性脚本 |
| 仅 C1 | 编译快、停顿短 | 峰值明显低于 C2 | 短生命周期服务 |
| 分层编译 | 启动与峰值的折中 | 预热期有抖动 | 大多数服务 |
| AOT 与原生镜像 | 启动到毫秒级 | 反射与动态代理受限 | Serverless、CLI |
| 虚拟线程 | 阻塞几乎免费 | pinning 与生态适配成本 | IO 密集服务 |
3.8 何时不该用
- 一次性命令行工具不要指望 JIT 峰值,启动时间才是它的指标。
- 不要在没有预热的压测里给出延迟结论。
- 不要用虚拟线程跑 CPU 密集任务,它只降低阻塞成本。
- 不要为了“低延迟”关掉 C2,那通常只是把问题挪到吞吐上。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 冷启动延迟高 | 解释执行、类加载与反射 | 预热、CDS、减少启动期扫描 |
| 去优化风暴 | 剖面被打破、类层次频繁变化 | 看 made not entrant,减少多态调用点 |
| 可见性 bug | 缺少 happens-before | 按六条规则修正,加 volatile 或锁 |
| 载体线程被固定 | synchronized 块或本地方法中阻塞 | 换 ReentrantLock,缩短临界区 |
| 线程池饥饿 | 阻塞任务占满池 | 隔离池、限流或改虚拟线程 |
OutOfMemoryError: unable to create native thread | 平台线程过多 | 降线程数、降 -Xss、改虚拟线程 |
| 代码缓存写满 | 动态生成类多、缓存偏小 | 增大 -XX:ReservedCodeCacheSize,查 C1 拒绝编译日志 |
| safepoint 时间过长 | 长循环、大数组拷贝、JNI 未返回 | -Xlog:safepoint 定位并拆分 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
用 Thread.sleep 保证可见性 | 偶发失败、无法复现 | 用 volatile 或锁 |
| 无界线程池 | 线程数失控、内存耗尽 | 有界队列加拒绝策略 |
在 synchronized 里做 IO | 虚拟线程被 pinning | ReentrantLock 或移出临界区 |
依赖 -XX:CompileThreshold 调优 | 分层编译下不按预期生效 | 用 JFR 与编译日志定位 |
4.3 可观测信号
-XX:+PrintCompilation 的编译级别与 made not entrant 行,JFR 的编译、去优化、锁与虚拟线程固定事件,-Xlog:safepoint 的暂停时长与到达时间,线程转储里的状态分布,以及代码缓存的已用比例。
4.4 安全 / 性能 / 一致性边界
- 可见性边界:共享写缺少 happens-before 时,读线程可能一直看到旧值;
volatile只管可见性,不管原子性。 - 优化边界:JIT 只能优化它观察到的类型与路径,稳态压测的结论不适用于冷启动。
- 调度边界:虚拟线程降低阻塞成本,但 CPU 密集任务仍受载体线程数与核数限制。
- 观测边界:编译日志与 safepoint 日志本身有开销,压测时应分轮次开关。