1 / 4概念
Concept
Python 的取舍可以概括成一句话:把类型检查、内存管理与并行调度从编译期挪到运行期,用运行开销换开发速度。判断一段 Python 代码能不能上线,先看它落在哪条取舍的哪一侧,而不是看语法是否优雅。本页建立这套模型,语法、类型、OOP、AOP、错误与异步六页都以它为前提。
1 概念
1.1 一句话定义
Python 是一门动态、强类型、解释执行的多范式语言;CPython 是参考实现,它把源码编译为字节码在虚拟机上执行,靠引用计数加循环 GC 管理对象,用 GIL 串行化同一进程内的字节码执行。
1.2 它解决什么问题
- 开发速度优先:没有编译步骤,改完即运行;类型注解可选,原型可以不带类型直接写。
- 可读性作为约束:缩进即块结构,一份代码只有一种排版语义,评审时噪音少。
- 行为而非声明:鸭子类型让调用方只依赖用到的方法,替换实现不必改继承树;函数、类、模块、整数又都是对象,扩展方式统一。
- 成熟的 C 互操作:热点可以下沉到 C、C++、Rust,Python 只做编排,数据与 AI 生态因此成立。
代价同样明确:解释执行慢一到两个数量级,GIL 让多线程无法并行跑字节码,动态类型把错误推到运行期,打包与依赖解析是独立的一门手艺。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
关键字、缩进、推导式、match 与版本特性 | Syntax |
| 名字绑定、引用计数细节、对象协议、描述符 | Type |
类、MRO、dataclass、Protocol、组合 | OOP |
| 装饰器、上下文管理器、元类、猴子补丁 | AOP |
| 异常层次、异常链、异常组、资源释放 | Error |
事件循环、任务、取消、to_thread | Async |
| 线程、进程、锁、队列与并行模型 | Concurrency |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| CPython | 官方 C 实现,也是事实标准 | 不是语言规范,PyPy 行为可能不同 |
| 动态类型 | 类型属于运行时对象,不属于名字 | 仍是强类型:"1" + 1 直接报错 |
| 鸭子类型 | 只看对象有没有用到的方法 | 编译期不检查,失败发生在调用点 |
| 字节码 | CPython 虚拟机的指令序列 | 不是机器码,也不是 .pyc 文件本身 |
| code object | 编译产物:字节码、常量、名字表 | 函数对象只是持有它,二者不等价 |
| 引用计数 | 每个对象头部的引用数 | 循环引用不会归零,需要 GC 兜底 |
| 分代 GC | 按代扫描容器对象的环 | 不是全堆标记清除,也不回收普通对象 |
| GIL | 全局解释器锁 | 只串行化字节码,不保证业务线程安全 |
| free-threading | 3.13 起的无 GIL 构建选项 | 默认构建仍有 GIL,扩展需重新编译 |
| wheel | 预编译二进制分发包 | 与 sdist 相对,有 ABI 约束 |
2 机制
2.1 心智模型
把 Python 程序想成三层:最上面是名字与对象的绑定图,中间是字节码在帧上的执行,最下面是 C 运行时与操作系统。写代码改的是第一层,性能问题通常出在第二层,部署问题往往在第三层。在这个模型里,变量不是盒子而是标签,函数调用不复制对象只多贴一张标签;线程不并行执行字节码,只在 I/O 等待时交替换人;包不是一个文件,而是需要解析、下载、编译、安装的依赖图。
2.2 机制拆解
- 编译流水线:源码经 tokenizer 与 parser 生成 AST,再编译成 code object,最后在
ceval循环里逐条执行字节码。编译结果按源文件时间戳与大小缓存在__pycache__/*.pyc;3.11 起自适应解释器按运行时类型特化热点指令(PEP 659),这是 3.11 提速的主要来源。 - 动态类型:类型信息挂在对象上,名字只是引用。注解在运行时默认不求值、不校验,只写进
__annotations__;from __future__ import annotations让注解变成字符串。校验发生在 mypy、pyright 或 pydantic 里,不在解释器里。 - 强类型与协议:
int与str不会自动互转,==走__eq__而不是隐式提升。可迭代、可调用、可哈希、可作上下文管理器都由特殊方法定义,collections.abc给出这些协议的抽象基类。 - 鸭子类型:调用方只要求对象支持某个方法,不要求继承某个类。替换实现可以用组合、代理或
Protocol,不必改类型层次;代价是接口约定只存在于文档、类型注解与测试里。 - 引用计数:绑定、传参、放入容器让计数加一,重新绑定、离开作用域、删除元素让计数减一,减到零立即析构。释放时机确定、无停顿,但处理不了环,且每次赋值都有固定开销。3.12 起部分长期存活对象被标记为 immortal(PEP 683),不再反复加减计数。
- 循环 GC:容器对象被 GC 跟踪,按净分配次数晋升代际,默认阈值
(700, 10, 10);gc.collect()触发全量回收。GC 只处理环,普通对象仍由引用计数回收;带__del__的环在 PEP 442 之后也能回收,但时机不确定。 - GIL:同一进程同一时刻只有一个线程执行字节码。线程每
sys.getswitchinterval()秒(默认 5 毫秒)尝试切换,阻塞 I/O 与部分 C 调用(如 NumPy 大数组运算)会主动释放。多线程适合 I/O 与已释放 GIL 的扩展,不适合纯 Python 计算。 - 并行替代:CPU 密集用
multiprocessing、ProcessPoolExecutor或原生扩展;I/O 密集用线程或asyncio;跨机用队列。3.13 提供实验性 free-threaded 构建,3.14 起转为官方支持(PEP 779),生态兼容仍需逐个验证。 - 打包与导入:
pyproject.toml描述构建后端与依赖(PEP 621),产物分 sdist 与 wheel,wheel 带 ABI 标签,cp312的二进制不能装到 3.11。导入执行模块顶层代码并缓存进sys.modules,循环导入会暴露半成品模块;启动成本几乎全在 import 上,-X importtime能直接列出每个模块的耗时。
2.3 完整枚举
| 维度 | Python 的选择 | 直接收益 | 直接代价 | 对照 Go / Java |
|---|---|---|---|---|
| 类型检查 | 运行期动态,可选静态注解 | 原型快,无编译等待 | 错误后移,需测试兜底 | Go 编译期检查;Java 名义类型 |
| 执行方式 | 编译到字节码再解释 | 跨平台,启动快 | 比机器码慢约 10–100 倍 | Go 编译为机器码;Java 有 JIT |
| 对象模型 | 一切皆对象,统一协议 | 扩展方式一致 | 小对象开销大 | Java 基本类型有特化 |
| 内存管理 | 引用计数 + 分代 GC | 释放时机确定 | 环需 GC,计数有开销 | Go 并发标记清除;Java 分代 GC |
| 并发模型 | GIL + 线程 + 进程 + 协程 | 模型多,选择灵活 | 默认不能字节码并行 | Go 有 goroutine 调度器 |
| 接口契约 | 鸭子类型与 Protocol | 实现解耦 | 契约不在运行期强制 | Java 接口显式声明 |
| 分发单位 | sdist / wheel / 容器 | 生态统一 | 原生依赖需匹配 ABI | Go 单二进制;Java jar |
| 版本策略 | 每年一个小版本,五年支持 | 演进快 | 需持续升级与兼容测试 | Go 兼容承诺;Java LTS |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 解释器冷启动 | 20–40 ms | python -c pass,不含额外导入 |
导入 numpy | 80–200 ms | 大型 C 扩展是启动成本主因 |
| 纯 Python 字节码 | 每条 30–100 ns | 循环与算术的数量级 |
| 函数调用开销 | 60–150 ns | 3.11 起显著下降,仍远高于原生调用 |
int 对象 | 约 28 B | 头部加数字段,小整数共用缓存 |
| 循环 GC 阈值 | (700, 10, 10) | 净分配 700 个容器触发第 0 代 |
| GIL 切换间隔 | 5 ms | sys.getswitchinterval() 默认值 |
| 线程栈 | 数百 KB 到 8 MB | 取决于平台与 threading.stack_size |
| 进程启动加导入 | 50–200 ms | 多进程方案的固定成本 |
| 3.11 相对 3.10 | 平均快约 25% | 官方 pyperformance 区间约 10%–60% |
| 3.8 / 3.9 EOL | 2024-10 / 2025-10 | 已停止安全更新 |
3 实践
3.1 最小示例
下面的脚本一次演示四件事:鸭子类型如何接受不同类、字节码长什么样、sys.getrefcount 为什么读数偏大、以及 GIL 下多线程为什么不能加速纯 Python 循环。
import dis
import sys
import threading
import time
class Circle:
def __init__(self, r): self.r = r
def area(self): return 3.14159 * self.r ** 2
class Square:
def __init__(self, side): self.side = side
def area(self): return self.side ** 2
def total_area(shapes):
"""只要求元素有 area(),不要求共同基类。"""
return sum(shape.area() for shape in shapes)
def spin(rounds):
n = 0
for _ in range(rounds):
n += 1
print(total_area([Circle(1.0), Square(2.0)])) # 7.14159
dis.dis(Circle.area) # 该方法的字节码
print(sys.getrefcount(Circle(1.0))) # 读数比实际多 1
ROUNDS = 2_000_000
start = time.perf_counter()
spin(ROUNDS); spin(ROUNDS)
serial = time.perf_counter() - start
start = time.perf_counter()
t1 = threading.Thread(target=spin, args=(ROUNDS,))
t2 = threading.Thread(target=spin, args=(ROUNDS,))
t1.start(); t2.start(); t1.join(); t2.join()
threaded = time.perf_counter() - start
print(f"serial={serial:.3f}s threaded={threaded:.3f}s")
print("线程版通常不更快:纯字节码仍被 GIL 串行化")
输出里 serial 与 threaded 接近,正是 GIL 的直接证据;把 spin 换成 time.sleep 或 NumPy 大数组运算,线程版才会体现并发。total_area 不关心两个类是否同源,这是鸭子类型的实际形态。
3.2 常用操作与参数
| 操作 | 调用 | 说明 |
|---|---|---|
| 看实现与版本 | sys.implementation、sys.version_info | 判断 CPython 与特性门槛 |
| 看字节码 | dis.dis(fn) | 定位热点、确认常量折叠 |
| 看导入耗时 | python -X importtime -c "import app" | 启动优化第一步 |
| 看引用数 | sys.getrefcount(x) | 读数偏大 1,仅用于调试 |
| 跑开发模式 | python -X dev | 打开额外检查与资源警告 |
| 建隔离环境 | python -m venv .venv | 不混用系统 site-packages |
| 装锁定的依赖 | uv pip sync requirements.txt | 解析快,结果可复现 |
| 构建分发包 | python -m build | 同时产出 sdist 与 wheel |
3.3 标准流程
- 选定解释器版本并写进
.python-version与 CI 矩阵,最低版本以仍在安全支持期内为准。 - 用
pyproject.toml声明依赖范围,用锁文件固定实际版本,虚拟环境与容器都从锁文件构建。 - 打开 ruff 与 mypy(或 pyright)检查格式与公共接口类型,再用 pytest 覆盖行为;对动态边界补契约测试。
- 先测再优化:
cProfile或py-spy找热点,tracemalloc找分配,确认瓶颈在 Python 层还是原生层。 - 发布前构建 wheel 并在干净环境重装一次,验证原生依赖与 ABI;容器镜像固定基础镜像摘要。
3.4 与相邻技术的组合
- C / C++ / Rust 扩展:PyO3 与 maturin、pybind11、Cython 把热点下沉;扩展必须遵守引用计数约定,返回对象前持有引用。
- NumPy / Arrow / Polars:把逐元素循环换成数组运算,同时绕开大量小对象与 GIL。
- Web 框架:FastAPI、Django、Flask 决定并发模型;同步 worker 与
asyncioworker 的容量估算完全不同。 - 容器与 CI:
python:3.12-slim之外还要处理libpq、gcc等系统依赖,多阶段构建可显著缩小镜像;缓存以锁文件哈希为键。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 负载类型 | I/O 密集 / CPU 密集 | I/O 可用线程或协程,CPU 必须多进程或原生 |
| 延迟要求 | 毫秒级 / 秒级 | 硬实时不用 CPython |
| 类型安全需求 | 低 / 高 | 高则注解加 mypy 严格模式,或换静态语言 |
| 部署形态 | 库 / 服务 / CLI / 数据任务 | 决定打包方式与启动预算 |
| 原生依赖 | 无 / 有 | 有则优先 manylinux wheel,避免现场编译 |
| 升级成本 | 可控 / 不可控 | 版本 EOL 前必须排期,否则安全补丁断供 |
3.6 决策规则
- 先判断瓶颈是 I/O 还是 CPU:I/O 用线程或
asyncio,CPU 用多进程或原生扩展,不要指望调大线程数。 - 依赖数量与原生依赖数量是部署风险的主要来源,能用一个库解决就不要引三个。
- 需要长期维护的服务,最低版本至少比 EOL 晚两个版本,避免刚上线就要大版本升级。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| Python | 生态、开发速度、C 互操作 | 运行慢、打包复杂、GIL | 数据、AI、脚本、胶水服务 |
| Go | 单二进制、原生并发、启动快 | 生态偏基础设施,表达力弱 | 网关、CLI、基础设施服务 |
| Java / Kotlin | JIT 性能、成熟 JVM 生态、强类型 | 内存占用高、启动慢 | 大型服务、企业系统 |
| Rust | 性能与内存安全、无 GC | 开发慢、学习曲线陡 | 热点组件、系统工具 |
3.8 何时不该用
- 硬实时或微秒级确定性延迟:GC 停顿与解释器调度都不受控。
- CPU 密集且无法向量化,又不想维护多进程:换 Go、Rust 或 Java 更省事。
- 团队没有 Python 经验,却要做强类型、大并发的基础设施:类型与并发的坑会集中爆发。
- 需要单文件分发到无运行时环境:Python 需要打包器,且体积与启动都不占优。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 多线程跑 CPU 任务不加速 | GIL 串行化字节码 | 改多进程或原生扩展 |
| 内存持续上涨,GC 不降 | 全局缓存或环持有对象 | 弱引用、限容、gc.get_referrers |
| 服务启动要数秒 | 顶层导入过多重型库 | -X importtime 定位,延迟导入 |
| 装包失败在编译阶段 | 没有匹配的 wheel,现场编译缺头文件 | 用 manylinux wheel 或多阶段构建 |
线上 ModuleNotFoundError | 虚拟环境与运行解释器不一致 | 固定解释器路径,容器内自检 |
| 改了代码但行为没变 | 旧 .pyc 或旧镜像 | 清 __pycache__,按摘要构建镜像 |
| 多进程 fork 后卡死 | fork 继承线程与锁状态 | 用 spawn,或 fork 前 gc.freeze() |
| 版本升级后行为变化 | 依赖未锁、弃用 API 被移除 | 锁文件加 CI 矩阵 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
用 except Exception: pass 吞错 | 故障被静默,排障无入口 | 指定类型并记录上下文 |
| 把配置写进模块级全局 | 测试之间互相污染 | 依赖注入或显式传参 |
用 sys.setrecursionlimit 硬扛深递归 | 可能触发 C 栈溢出崩溃 | 改迭代或显式栈 |
| 为每个请求新建线程池 | 线程爆炸、内存上涨 | 进程内共享有界池 |
依赖 __del__ 释放关键资源 | 回收时机不确定 | 上下文管理器显式关闭 |
4.3 可观测信号
启动看 -X importtime 与冷启动耗时;CPU 看 py-spy top 的栈分布,能区分 Python 层与原生层;内存看 tracemalloc 快照差值与 gc.get_stats();GIL 争用看 py-spy 中大量线程停在 acquire;依赖健康看 pip check 与锁文件漂移;生产错误率按异常类型分组,而不是只看总量。容器环境再补镜像大小与构建时长,它们直接反映依赖与原生编译的成本。
4.4 安全 / 性能 / 一致性边界
- 实现边界:引用计数、
id()、sys.getsizeof都是 CPython 细节;PyPy 没有引用计数,析构时机不可依赖。 - 并发边界:GIL 不提供业务层线程安全,共享可变对象仍需锁;free-threaded 构建会同时改变性能与扩展兼容假设。
- 类型边界:注解不产生运行时校验,
typing.cast只是给类型检查器看的断言,不改变值。 - 安全边界:
pickle反序列化等同于执行任意代码,只用于可信数据;eval、exec与拼接 SQL 同理。 - 性能边界:解释器开销是每个操作的固定成本,优化数量级来自减少操作次数与对象数量,而不是微调单行写法。
- 一致性边界:进程内没有跨进程事务;多进程写同一份文件或同一行数据库记录,需要数据库或队列提供一致性。