1 / 4概念
Concurrency
读完能解释一次 go 调用之后发生了什么、channel 在哪种状态下阻塞、select 如何取舍,以及如何用 context 让一组 goroutine 一起退出。并发正确性最终由内存模型的 happens-before 定义,而不是由代码看起来是否加锁决定。
1 概念
1.1 一句话定义
goroutine 是由运行时 M:N 调度到 OS 线程上的轻量执行单元;channel 是带类型的同步队列;两者与 context、sync 原语一起构成 Go 的并发工具箱。
1.2 它解决什么问题
- 低成本并发:初始栈 2 KB,创建与切换成本远低于 OS 线程。
- 结构化通信:channel 把数据所有权在 goroutine 之间交接。
- 可取消:context 把超时与取消传播到整条调用链。
- 可同步:Mutex、RWMutex、WaitGroup、Once、atomic 覆盖共享状态。
- 可检测:race detector 与 pprof 让竞争、阻塞和泄漏可见。
- 可组合:流水线、扇出扇入与 worker pool 由少量原语拼出。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 接口与泛型基础 | Interfaces and Generics |
| error 包装与 goroutine 内错误 | Errors and Packages |
| HTTP 请求生命周期与超时 | Gin / Echo |
| 线程与进程的 OS 语义 | Processes & Threads |
GC 调优与 GOGC、GOMEMLIMIT | Go Language |
| 调度 trace 与性能工具 | Go Toolchain |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| goroutine | 运行时调度的执行单元 | 不是 OS 线程 |
| GMP | G、M、P 三元组 | P 不是 CPU 核 |
| channel | 带类型的队列 | 关闭后仍可接收 |
| 无缓冲 | 发送与接收同步交接 | 不是“立即返回” |
select | 多路等待 | 多个就绪时随机选 |
| context | 取消、超时、请求域值 | 不是配置容器 |
| happens-before | 可见性保证 | 不是“同时发生” |
| 数据竞争 | 无同步的并发访问,且至少一个写 | 不是逻辑错误 |
| 泄漏 | goroutine 永久阻塞 | 不只是内存泄漏 |
| 背压 | 缓冲满时阻塞生产者 | 不是限流算法 |
2 机制
2.1 心智模型
goroutine 是廉价的任务,channel 是任务之间的交接点;调度器只保证可运行,不保证公平或顺序。 新 goroutine 进入 P 的本地队列,M 取出执行;阻塞的 channel 操作把 G 挂起,等对手方唤醒。同步原语建立 happens-before,race detector 只检查实际执行到的路径。
2.2 机制拆解
- GMP 调度:G 入本地队列,M 绑定 P 执行;本地空则从全局队列或其他 P 偷取;系统调用阻塞时 M 与 P 解绑。
- goroutine 生命周期:函数返回即结束;没有 join 句柄,需用 WaitGroup 或 channel 等待;panic 未恢复会终止进程。
- channel 状态:nil 永久阻塞;无缓冲要求收发配对;有缓冲在容量内不阻塞;关闭后接收返回零值与 false。
- 关闭规则:只由唯一发送方关闭;关闭后再发送 panic;重复关闭 panic;接收方不应关闭。
- select:多个 case 就绪时随机选一个;
default提供非阻塞路径;nil channel 的 case 永不就绪。 - context:
WithCancel、WithTimeout、WithDeadline派生可取消树;cancel应调用;值只放请求域数据。 - sync 原语:Mutex 非重入;RWMutex 写优先;WaitGroup 的
Add应在Wait前;atomic 类型提供顺序一致语义。 - 内存模型:channel 收发、锁解锁、Once、atomic 建立 happens-before;没有同步的读写是数据竞争。
2.3 完整枚举
channel 的操作与状态,这是完整集合:
| 操作 | nil channel | 打开的 channel | 已关闭的 channel |
|---|---|---|---|
发送 ch <- v | 永久阻塞 | 满则阻塞,否则入队 | panic |
接收 <-ch | 永久阻塞 | 空则阻塞,否则出队 | 立即返回零值,ok=false |
close(ch) | panic | 关闭并唤醒接收方 | panic |
len(ch) | 0 | 当前缓冲元素数 | 剩余元素数 |
cap(ch) | 0 | 缓冲容量 | 缓冲容量 |
select 中的 case | 永不就绪 | 按就绪情况 | 接收就绪,发送 panic |
len 与 cap 只对 channel 做快照,不建立任何同步;它们不能用来判断 channel 是否已关闭。
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| goroutine 初始栈 | 2 KB | 按需增长 |
| 栈上限 | 1 GB(64 位) | 超过触发 fatal error |
| 默认 GOMAXPROCS | 可用 CPU 数 | 由逻辑 CPU、亲和性与 cgroup 配额共同决定 |
| 无缓冲交接 | 1 次唤醒 | 发送方等接收方 |
| race detector 开销 | 5 到 10 倍时间 | 内存同样成倍增加 |
| 定时器精度 | 毫秒级 | 不适合硬实时 |
| 单机 goroutine 量级 | 十万到百万 | 受内存与调度影响 |
GOMEMLIMIT 默认 | 关闭 | Go 1.19 起可用 |
| 调度 trace 周期 | 1 ms 起 | GODEBUG=schedtrace=1000 |
3 实践
3.1 最小示例
示例是一个无泄漏的扇出扇入:3 个 worker 消费同一个 jobs channel,主 goroutine 按 index 重组结果;context 给整组任务设置统一超时。
package main
import (
"context"
"fmt"
"sync"
"time"
)
type result struct {
index int
value int
}
func main() {
ctx, cancel := context.WithTimeout(context.Background(), 2*time.Second)
defer cancel()
jobs := make(chan int)
out := make(chan result)
var wg sync.WaitGroup
for w := 0; w < 3; w++ {
wg.Add(1)
go func() {
defer wg.Done()
for index := range jobs {
select {
case out <- result{index: index, value: index * index}:
case <-ctx.Done():
return
}
}
}()
}
go func() {
defer close(jobs)
for i := 0; i < 8; i++ {
select {
case jobs <- i:
case <-ctx.Done():
return
}
}
}()
go func() {
wg.Wait()
close(out)
}()
squares := make([]int, 8)
for r := range out {
squares[r.index] = r.value
}
fmt.Println(squares) // [0 1 4 9 16 25 36 49]
}
追踪:生产者在 jobs 上发送 0 到 7,三个 worker 竞争消费,谁先完成不确定。结果带上 index,主 goroutine 写入预分配切片,因此输出顺序与完成顺序无关。ctx 超时后,生产者在发送处退出并关闭 jobs,阻塞在发送处的 worker 从 ctx.Done() 退出。wg.Wait 保证所有 worker 结束后才关闭 out,主 goroutine 的 range 才能终止;每个 goroutine 都有明确退出路径。
3.2 常用操作与参数
| 操作 | 命令 / API | 说明 |
|---|---|---|
| 启动 | go f() | 无法直接获得返回值 |
| 等待一组 | sync.WaitGroup | Add 在 Wait 前 |
| 发送与接收 | ch <- v、<-ch | 按状态阻塞 |
| 关闭 | close(ch) | 只由发送方关闭 |
| 多路等待 | select | 就绪 case 随机选 |
| 超时 | context.WithTimeout | 必须调用 cancel |
| 取消 | context.WithCancel | 传播到下游 |
| 互斥 | sync.Mutex | 非重入 |
| 原子计数 | atomic.Int64 | Go 1.19 起的类型化 API |
| 只执行一次 | sync.Once | 失败也会标记完成 |
| 竞争检测 | go test -race | 只报告实际发生的竞争 |
3.3 标准流程
- 先确定所有权:谁创建 goroutine、谁关闭 channel、谁调用
cancel。 - 给每个阻塞操作准备退出路径:context、关闭信号或超时。
- 无缓冲用于同步交接,有缓冲用于吸收突发;缓冲大小要有依据。
- 共享状态用 Mutex 或 atomic;跨 goroutine 交接数据用 channel。
- 扇出前设并发上限;用 WaitGroup 或 errgroup 收集完成。
- 在入口
defer cancel,在测试里用-race与泄漏检查。 - 用 pprof 的 goroutine 与 block profile 验证没有永久阻塞。
3.4 与相邻技术的组合
- Errors and Packages:goroutine 内的错误通过 channel 或 errgroup 返回,不要直接 panic。
- Gin / Echo:handler 里启动的 goroutine 应使用
c.Request.Context(),请求结束后不能再用*gin.Context。 - Processes & Threads:GOMAXPROCS 与 OS 线程数不同;阻塞系统调用会占用 M。
- Go Toolchain:
-race、pprof 与GODEBUG=schedtrace是同一套诊断入口。 - Go Language:GC 与
GOMEMLIMIT决定高并发下的内存上限。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 通信形态 | 共享内存 / channel | 锁竞争与可追踪性 |
| 缓冲 | 无缓冲 / 有缓冲 | 同步强度与背压 |
| 并发上限 | 无限制 / 固定池 | 内存与下游压力 |
| 取消 | 无 / context | 泄漏风险 |
| 错误传播 | channel / errgroup | 提前退出 |
| 一致性 | Mutex / atomic | 临界区大小 |
3.6 决策规则
- 数据有唯一所有者并需要交接时用 channel。
- 多个 goroutine 读写同一结构时用 Mutex,临界区只包必要语句。
- 只读共享或单计数器用 atomic;不要用 atomic 保护多字段不变量。
- 每个请求可以一条 goroutine,但必须有并发上限和取消。
- channel 由发送方关闭;接收方只负责报告“没有更多”。
- 等待一组任务用 WaitGroup;需要首个错误时用 errgroup。
- 写
go语句之前先写出它的退出条件。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| channel | 所有权清晰、天然背压 | 过度使用难追踪 | 流水线、交接 |
| Mutex | 共享状态直观 | 死锁与锁竞争 | 缓存、计数器 |
| atomic | 无锁、开销低 | 只适合单值 | 标志、计数 |
| errgroup | 错误与取消统一 | 额外依赖 | 一组子任务 |
| worker pool | 上限可控 | 队列设计复杂 | 批量任务 |
| 事件循环(Node) | 单线程无锁 | CPU 密集会阻塞 | I/O 密集 |
3.8 何时不该用
- 纯 CPU 密集且无共享状态:goroutine 不会自动加速,按核数并行即可。
- 只需要请求/响应:不要为每个 handler 再套一层 channel 流水线。
- 硬实时:GC 与调度器不提供硬实时保证。
- 任务极短且数量很小:直接调用比创建 goroutine 更简单。
- 需要严格顺序:不要用并发再排序,直接串行。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| goroutine 数持续上涨 | 阻塞在发送或接收,缺少取消 | 加 context 与退出路径 |
panic: send on closed channel | 多个发送方都尝试关闭 | 只让唯一所有者关闭 |
| 死锁 | 锁顺序不一致或 channel 互等 | 固定锁顺序,select 超时 |
| 数据竞争 | 无同步读写共享变量 | Mutex 或 atomic,跑 -race |
| 程序提前退出 | main 返回,其他 goroutine 被终止 | 用 WaitGroup 等待 |
| 请求取消后仍执行 | 没传 request context | 把 ctx 贯穿下游 |
| 内存持续上涨 | 缓冲过大或结果无人消费 | 限制 cap,确保消费 |
| goroutine 永久挂起 | 等待一个永远不会关闭的 channel | 设超时或由所有者关闭 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
无限制 go func() | 泄漏与内存上涨 | worker pool 加并发上限 |
| 用 channel 模拟锁 | 结构复杂、易死锁 | Mutex |
| 在 goroutine 内 panic | 进程崩溃 | 返回 error |
| 关闭非自己拥有的 channel | panic | 只由所有者关闭 |
用 time.Sleep 等结果 | 不确定、拖慢测试 | WaitGroup 或 channel |
4.3 可观测信号
runtime.NumGoroutine() 的持续增长、pprof goroutine 栈里同一函数的大量堆积、block profile 的阻塞时长、mutex profile 的竞争、-race 报告、GODEBUG=schedtrace=1000 的调度器行、请求 P99 与超时率、泄漏测试的断言结果。先看 goroutine 栈,再看阻塞点,最后看锁竞争。
4.4 安全 / 性能 / 一致性边界
- 内存模型边界:只有同步原语建立 happens-before;通道容量与调度顺序不提供额外保证。
- panic 边界:
recover只能捕获同一 goroutine 的 panic;其他 goroutine 的崩溃无法恢复。 - 取消边界:context 取消是协作式的,不会强制终止 goroutine。
- 公平性边界:调度器不保证 FIFO,
select在多个就绪 case 间随机选择。 - 资源边界:每个 goroutine 至少占 2 KB 栈,百万级 goroutine 需要 GB 级内存。