1 / 4概念
NoSQL Databases
NoSQL 不是“不要 SQL”,而是“先定访问模式,再选数据模型”。它用键值、文档、图或宽列模型换取水平扩展、灵活结构或特定查询能力,代价通常是事务、连接和即席查询。
1 概念
1.1 一句话定义
NoSQL 数据库是一类不以“规范化表 + 多表连接”为中心的数据存储:它把数据组织成键值、文档、图、宽列、搜索索引或向量,围绕一种访问模式做优化。
1.2 它解决什么问题
- 单机关系库的写入/存储达到上限,需要水平扩展。
- 数据结构变化快,schema 迁移成本高。
- 访问模式固定且高频,关系模型的多表连接太重。
- 图遍历、全文检索、向量相似度等查询,关系库不是最优解。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 关系模型、SQL、PostgreSQL/MySQL | Relational Databases |
| ACID、隔离级别、MVCC | Transactions & Concurrency |
| 倒排索引与全文检索 | Full-Text Search |
| 向量索引与 ANN | Vector Search |
| 分布式共识与复制 | Consensus & Replication |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| 分区键 | 决定数据落在哪个分片 | 不是主键的同义词 |
| 最终一致 | 副本最终收敛到同一值 | 不是“允许丢数据” |
| CAP | 分区时在一致性与可用性间取舍 | 不是“三选二”的营销口号 |
| 文档 | 自包含的 JSON/BSON 结构 | 不是“无 schema” |
| 图遍历 | 沿边访问邻居 | 不是 SQL JOIN |
| TTL | 到期自动删除 | 不是“持久化过期” |
2 机制
2.1 心智模型
先写访问模式,再反推数据模型:查询 → 分区键 → 单分片内数据 → 副本一致性。NoSQL 的“ schema 灵活”不是没有约束,而是约束从数据库前移到了应用。
2.2 机制拆解
- 键值(Redis):内存哈希表 + 过期时间;单线程执行命令(部分操作后台线程),适合缓存、计数、会话、排行榜。
- 文档(MongoDB):BSON 文档 + 集合;按分片键分布;支持二级索引、聚合管道和单文档事务。
- 图(Neo4j):属性图,节点/边/属性;遍历是沿着指针走,不是全表连接。
- 宽列(Cassandra/HBase):按分区键 + 聚簇列排序,写优化,适合时间序列/日志。
- 搜索/向量:倒排索引或 ANN 索引,作为检索层而不是事实源。
2.3 完整枚举
| 家族 | 代表 | 数据模型 | 强项 | 弱项 |
|---|---|---|---|---|
| 键值 | Redis、Memcached | key → value | 极低延迟、简单 | 查询能力弱 |
| 文档 | MongoDB、CouchDB | JSON/BSON 文档 | 灵活结构、聚合 | 跨文档事务弱 |
| 图 | Neo4j、JanusGraph | 节点/边/属性 | 多跳遍历 | 大规模写入/分片难 |
| 宽列 | Cassandra、HBase | 分区 + 列族 | 写吞吐、水平扩展 | 查询受分区键限制 |
| 搜索 | Elasticsearch、OpenSearch | 倒排索引 | 全文/聚合 | 非事实源、更新成本 |
| 向量 | Milvus、pgvector | 向量 + 元数据 | 语义检索 | 召回/内存权衡 |
| 时序 | InfluxDB、TimescaleDB | 时间戳 + 标签 | 高写入、降采样 | 通用查询弱 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| Redis 延迟 | 亚毫秒到毫秒 | 受网络与命令复杂度影响 |
| MongoDB 单文档 | 16 MB 上限 | 大文档会放大读写与复制成本 |
| 图遍历深度 | 2–4 跳常见 | 深度越大,爆炸越明显 |
| 分片数 | 数十到数千 | 过少限制扩展,过多增加管理成本 |
| 副本数 | 3 常见 | 影响可用性与写延迟 |
3 实践
3.1 最小示例
# Redis:缓存 + TTL + 原子计数
SET user:42:profile '{"name":"Ada"}' EX 3600
INCR metrics:page:views
ZADD leaderboard 100 user:42
// MongoDB:插入文档、按二级索引查询、单文档更新
await db.collection('orders').insertOne({
userId: 42, amount: 19.9, status: 'paid', createdAt: new Date(),
});
await db.collection('orders').createIndex({userId: 1, createdAt: -1});
const recent = await db.collection('orders')
.find({userId: 42}).sort({createdAt: -1}).limit(20).toArray();
// Neo4j:两跳内的好友推荐
MATCH (me:User {id: 42})-[:FRIEND]->(friend)-[:FRIEND]->(candidate)
WHERE candidate <> me AND NOT (me)-[:FRIEND]->(candidate)
RETURN candidate.id, count(*) AS mutual
ORDER BY mutual DESC LIMIT 10;
3.2 常用操作与参数
| 操作 | 命令 / API | 说明 |
|---|---|---|
| 选分区键 | 设计阶段 | 目标:均匀分布 + 单查询命中单分区 |
| 建索引 | createIndex / CREATE INDEX | 只为真实查询建 |
| 设 TTL | EXPIRE / TTL 索引 | 防止缓存/日志无限增长 |
| 批量写 | bulkWrite / pipeline | 降低往返,注意批量大小 |
| 读一致性 | readConcern / ConsistencyLevel | 按业务选强/最终一致 |
| 观察慢查询 | 数据库 profiler/慢日志 | 先看是否跨分区扫描 |
3.3 标准流程
- 列出 top 查询与写入,标出分区键和排序键。
- 选择数据模型;确认单次查询能否落在单个分区。
- 设计索引与 TTL,避免无界集合。
- 定义一致性要求:哪些读必须走强一致,哪些可接受延迟。
- 压测热点、扩容和故障转移;准备回源/降级方案。
3.4 与相邻技术的组合
- 关系库:NoSQL 常作为缓存/检索/图分析层,事实数据仍在关系库。
- 消息队列:写入事件先入队,再异步落 NoSQL,避免双写不一致。
- 全文/向量检索:搜索层与事实源分离,靠同步管道保持一致。
- 分布式协调:分片、选主和副本状态需要共识系统支撑。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 访问模式 | 点查 / 范围 / 聚合 / 遍历 | 决定数据模型 |
| 一致性 | 强 / 最终 | 强一致通常牺牲可用性或延迟 |
| 写入规模 | 低 / 高 / 极高 | 宽列/键值更适合高写入 |
| 查询灵活性 | 固定 / 即席 | 固定查询适合 NoSQL,即席适合关系库 |
| 数据关系 | 弱 / 强关联 | 多跳关系用图库 |
| 运维能力 | 自建 / 托管 | 分片与修复成本高 |
3.6 决策规则
- 访问模式固定、按 key 命中:键值/宽列优先。
- 文档自包含、按聚合根读写:文档库优先。
- 多跳关系是核心查询:图库优先。
- 全文相关性/聚合是核心:搜索引擎优先。
- 需要多实体事务和即席 JOIN:关系库优先,不要硬套 NoSQL。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| Redis | 极低延迟、数据结构丰富 | 内存成本、持久化权衡 | 缓存、计数、排行榜 |
| MongoDB | 灵活文档、聚合管道 | 跨文档事务弱 | 内容、订单、用户配置 |
| Neo4j | 多跳遍历自然 | 分片/写入扩展难 | 社交、风控、知识图谱 |
| Cassandra | 写吞吐、线性扩展 | 查询受分区键限制 | 日志、时序、消息 |
| Elasticsearch | 全文/聚合强 | 非事实源、运维重 | 搜索、日志分析 |
3.8 何时不该用
- 需要跨多实体强事务:关系库或支持分布式事务的系统。
- 查询模式频繁变化、需要即席 JOIN:关系库/湖仓。
- 数据量很小、单机关系库完全够用:不要为了“扩展性”引入分布式复杂度。
- 把搜索引擎当唯一事实源:更新/一致性/备份都会成为问题。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 写入都打到一个分片 | 分区键分布不均/热点 key | 加盐、拆 key、预分区 |
| 查询扫全表 | 没有按分区键过滤 | 改查询或建合适索引 |
| 文档越来越大 | 无界数组/内嵌历史 | 拆分集合、限制大小 |
| 缓存击穿/雪崩 | 热点 key 过期、批量失效 | 互斥重建、随机 TTL、预热 |
| 副本读到旧值 | 最终一致 + 读从库 | 关键读走强一致/主节点 |
| TTL 集中过期 | 同一时间写入 | 加随机抖动 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 把 NoSQL 当关系库用 | 应用层手写 JOIN,复杂度爆炸 | 选关系库或预聚合 |
| 无界文档/集合 | 内存、复制、备份失控 | 分页/分片/TTL |
| 只按“技术流行”选型 | 事务/查询能力不足,返工 | 先列访问模式 |
| 双写关系库与 NoSQL | 不一致、补偿复杂 | 事件驱动 + 幂等消费 |
4.3 可观测信号
分片热点、单 key QPS、慢查询、复制延迟、内存使用与 eviction、TTL 删除速率、文档平均大小、图遍历深度与 fan-out。
4.4 安全 / 性能 / 一致性边界
- 一致性:最终一致不是“最终一定对”,要有冲突解决和补偿。
- 持久性:Redis 的 RDB/AOF 配置决定能丢多少;缓存不能当唯一事实源。
- 访问控制:分片键/租户隔离必须在查询层强制,不能只靠客户端。
- 容量:内存型数据库的成本随数据量线性上升;先算 TCO。