1 / 4概念
Full-Text Search
全文搜索把文本拆成词项,建立“词项 → 文档”的倒排索引,再按相关性排序。判断标准不是“用不用 Elasticsearch”,而是文本分析、查询类型、分片规模和数据同步方式。
1 概念
1.1 一句话定义
全文搜索先用 analyzer 把文本切成 token(分词、小写、去停用词、同义词/词干),写入倒排索引;查询时对查询串做同样的分析,取出候选文档并用 BM25 等模型打分排序。
1.2 它解决什么问题
LIKE '%keyword%'无法利用索引,也无法按相关性排序。- 多字段、拼写/同义词/语言差异需要统一分析链。
- 聚合/分面(按品牌、价格区间统计)需要列式/doc_values。
- 海量文本的分布式检索与水平扩展。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| BM25/TF-IDF 公式与评估 | Ranking & Relevance |
| 向量/语义检索 | Vector Search |
| 关系库事务与索引 | Relational Databases / Indexing |
| 日志采集/可观测平台 | Observability |
| 数据同步管道 | Data Pipelines |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| 倒排索引 | term → posting list(文档/位置) | 不是“正排文档表” |
| Analyzer | 字符过滤 + 分词 + token 过滤 | 不是“查询语法” |
| Mapping | 字段类型与分析器定义 | 不是“数据库 schema” |
| Shard | Lucene 索引分片 | 不是“副本” |
| Replica | 分片副本,读扩展/容错 | 不是“备份” |
| Refresh | 让新文档可被搜索 | 不是“持久化” |
| Translog | 写入日志,保证持久化 | 不是“binlog” |
| Deep pagination | 深翻页 | 不是“分页大小” |
2 机制
2.1 心智模型
写入:文档 → analyzer → terms → 倒排表 + doc_values;查询:查询串 → analyzer → terms → 取 posting 交集/并集 → 打分 → 取回 _source。索引是“近实时”的,refresh 之后才可见。
2.2 机制拆解
- 写入:协调节点按
_id路由到主分片 → 写 Lucene segment + translog → 复制到副本。 - Refresh:默认 1s 把内存 buffer 变成可搜索 segment;
refresh=wait_for可等待。 - 查询:协调节点把 query 广播到每个分片 → 各分片取 top-k → 协调节点归并排序 → 取回文档。
- 合并:后台 merge 小 segment;translog 定期 flush。
2.3 完整枚举
| 查询类型 | 是否分析 | 用途 |
|---|---|---|
match | 是 | 全文相关性 |
term | 否 | 精确值(keyword/数值) |
bool | — | must/should/must_not/filter 组合 |
match_phrase | 是 | 短语/邻近 |
wildcard/prefix | 否 | 前缀/通配(代价高) |
range | 否 | 数值/日期范围 |
aggregations | — | 分面/统计 |
knn | — | 向量近邻(新版) |
| Analyzer | 行为 | 适用 |
|---|---|---|
| standard | 通用分词 + 小写 | 默认 |
| keyword | 不分词 | 精确值/聚合 |
| whitespace | 按空白切 | 日志/ID |
| language | 词干/停用词 | 特定语言 |
| custom | tokenizer + filters | 同义词/业务词典 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 分片大小 | 10–50 GB | 过大恢复慢,过小分片多 |
| Refresh | 1s 默认 | 越短越实时,开销越大 |
| 深翻页上限 | 10000(默认) | 用 search_after/scroll |
| 副本数 | 1–2 | 读扩展与容错 |
| 堆内存 | 不超过物理内存一半 | 留给文件缓存 |
3 实践
3.1 最小示例
# 建索引:title 全文,brand/price 精确/范围。
curl -XPUT localhost:9200/products -H 'Content-Type: application/json' -d '
{
"mappings": {
"properties": {
"title": {"type": "text", "analyzer": "standard"},
"brand": {"type": "keyword"},
"price": {"type": "scaled_float", "scaling_factor": 100}
}
}
}'
# 写入并刷新。
curl -XPOST 'localhost:9200/products/_doc/1?refresh=wait_for' \
-H 'Content-Type: application/json' \
-d '{"title":"Wireless Noise Cancelling Headphones","brand":"Acme","price":199.9}'
# 查询 + 聚合。
curl -XPOST localhost:9200/products/_search -H 'Content-Type: application/json' -d '
{
"query": {"bool": {
"must": [{"match": {"title": "wireless headphones"}}],
"filter": [{"term": {"brand": "Acme"}}, {"range": {"price": {"lte": 300}}}]
}},
"aggs": {"by_brand": {"terms": {"field": "brand"}}}
}'
3.2 常用操作与参数
| 操作 | 命令 / API | 说明 |
|---|---|---|
| 建索引 | PUT /index + mappings | 先定 mapping,避免动态爆炸 |
| 批量写 | _bulk | 控制批次大小 |
| 刷新 | ?refresh=wait_for | 写完立即可搜 |
| 解释打分 | "explain": true | 看 BM25 分解 |
| 深翻页 | search_after / PIT | 避免 from+size |
| 重建 | alias 切换新索引 | 零停机 reindex |
3.3 标准流程
- 明确查询:全文、精确、范围、聚合,分别用什么字段类型。
- 设计 mapping:text vs keyword,是否需要多字段(
fields)。 - 设计分片/副本:按数据量与增长预估,避免过度分片。
- 建立同步管道:DB → CDC/消息 → ES,保证幂等与顺序。
- 监控 refresh、merge、JVM、磁盘水位和慢查询。
3.4 与相邻技术的组合
- 关系库:事实源在 DB,ES 作为检索层;用 outbox/CDC 同步。
- 向量检索:ES 支持 knn,可与 BM25 混合排序。
- 日志平台:ELK/OpenSearch 把 ES 当日志存储,生命周期管理不同。
- BI:聚合结果进仓库/缓存,不要直接对 ES 做重分析。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 查询类型 | 全文 / 精确 / 聚合 | 决定字段类型 |
| 数据量 | GB / TB | 分片与节点规划 |
| 实时性 | 秒级 / 分钟 | refresh 与同步方式 |
| 更新频率 | 低 / 高 | segment merge 成本 |
| 运维 | 自建 / 托管 | 集群/升级/备份 |
| 生态 | ES / OpenSearch | 许可与插件 |
3.6 决策规则
- 需要相关性/分词/聚合:ES/OpenSearch。
- 只需要精确匹配/范围:关系库索引足够。
- 数据量小、查询简单:Postgres FTS 可省一个集群。
- 语义相似度:向量检索,必要时与 BM25 混合。
- 事实源唯一性要求高:DB 为准,ES 可重建。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| Elasticsearch | 生态成熟、聚合强 | 运维/资源成本 | 搜索/日志 |
| OpenSearch | 开源分支、许可灵活 | 生态略滞后 | 同类场景 |
| Postgres FTS | 少一个系统、事务一致 | 相关性/规模弱 | 中小数据 |
| 向量检索 | 语义召回 | 需 embedding/调参 | RAG/推荐 |
3.8 何时不该用
- 只做精确匹配:关系库索引更简单。
- 把 ES 当唯一事实源:更新/事务/备份都麻烦。
- 数据量很小:内存/单机搜索足够。
- 团队没有集群运维能力:先用托管服务。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 写入成功但搜不到 | refresh 未发生 | refresh=wait_for/等待 |
| 集群变红 | 主分片未分配/磁盘满 | 查 allocation、清磁盘 |
| 查询越来越慢 | 分片过多/segment 多 | 合并索引、减少分片 |
| 深翻页报错 | from+size 超限 | search_after/PIT |
| 字段爆炸 | 动态 mapping | dynamic: strict/显式 mapping |
| 相关性变差 | analyzer/boost 变更 | 固定分析链、离线评估 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
用 term 查 text 字段 | 分析后 term 不匹配 | match 或 keyword 子字段 |
| 每租户一个索引 | 分片/集群状态爆炸 | 路由/过滤字段 |
| 频繁 refresh | segment/merge 压力 | 批量写 + 合理 refresh |
| 把 ES 当主库 | 数据丢失/不一致 | DB 为准 + 可重建 |
无脑 wildcard | 全量扫描 | 前缀/ngram/专用字段 |
4.3 可观测信号
集群健康(green/yellow/red)、未分配分片、JVM heap/GC、refresh/merge 时间、慢查询日志、磁盘 watermark、bulk 拒绝、搜索延迟 P99。
4.4 安全 / 性能 / 一致性边界
- 一致性:ES 是近实时检索层,不能替代事务库;同步要有幂等/重放。
- 安全:启用认证/ TLS/字段级权限;不要暴露公网。
- 容量:分片数在索引创建时固定,规划错了要 reindex。
- 生命周期:热/温/冷/删除分层,避免无限增长。