1 / 4概念
Ranking & Relevance
检索负责“把候选找出来”,排序负责“把最相关的放前面”。判断标准不是“公式先不先进”,而是评估集、业务目标、特征和线上反馈是否闭环。
1 概念
1.1 一句话定义
相关性排序给每个“查询-文档”对打分,并按分数排序。TF-IDF 用词频和逆文档频率衡量重要性,BM25 在此基础上加入词频饱和与文档长度归一化;评估用 precision/recall、MAP、MRR、nDCG 等指标。
1.2 它解决什么问题
- 检索返回几十/几百个候选,需要决定谁排第一。
- 关键词匹配不等于相关:短文档、重复词、字段权重都会影响结果。
- 业务目标不同:导航查询要精确,探索查询要多样,问答要答案覆盖。
- 没有评估就无法判断“改排序”是变好还是变坏。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 倒排索引/分词/mapping | Full-Text Search |
| 向量召回/ANN | Vector Search |
| 点击日志/埋点平台 | Observability / 数据管道 |
| 推荐系统排序 | 推荐页(暂无) |
| 机器学习模型训练 | ML/模型页(暂无) |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| TF | 词在文档中的频率 | 不是“查询词频” |
| IDF | 词在全库中的稀有度 | 不是“文档长度” |
| BM25 | TF-IDF 的饱和/长度归一化版本 | 不是“神经网络” |
| Precision/Recall | 返回结果中相关比例 / 相关结果被召回比例 | 不是“准确率” |
| MAP | 平均精度均值 | 对排序位置敏感 |
| nDCG | 归一化折损累计增益 | 支持分级相关性 |
| 位置偏差 | 用户更可能点击靠前结果 | 不是“排序分数” |
| LTR | 学习排序 | 不是“规则排序” |
2 机制
2.1 心智模型
把文档看成词袋:查询词在文档里出现得越多、越稀有,分数越高;但词频不能无限加分(饱和),长文档不能因为词多就占便宜(长度归一化)。BM25 就是这两个修正。
2.2 机制拆解
BM25 对每个查询词 q 累加:
score(q, D) = Σ IDF(q) × (f(q,D) × (k1 + 1)) /
(f(q,D) + k1 × (1 - b + b × |D| / avgdl))
f(q,D):词频;k1控制饱和速度(常用 1.2–2.0)。b控制长度归一化强度(0 不归一化,1 完全归一化;常用 0.75)。IDF(q):词越稀有,权重越高。
排序流程:查询分析 → 召回候选 → 打分(BM25/向量/字段 boost)→ 融合/重排 → 截断。
2.3 完整枚举
| 模型 | 信号 | 优点 | 局限 |
|---|---|---|---|
| TF-IDF | 词频 × 逆文档频率 | 简单、可解释 | 无饱和/长度归一化 |
| BM25 | TF 饱和 + 长度归一化 | 鲁棒、默认强 | 无语义/上下文 |
| 语言模型 | 查询生成文档的概率 | 理论清晰 | 平滑/调参复杂 |
| 向量 | embedding 相似度 | 语义召回 | 需模型/索引 |
| LTR | 多特征 + 学习目标 | 可融合业务信号 | 需标注/特征工程 |
评估指标:
| 指标 | 关注点 | 适用 |
|---|---|---|
| Precision@k | 前 k 个里相关比例 | 精确率优先 |
| Recall@k | 相关结果被召回比例 | 召回优先 |
| MAP | 平均精度 | 二值相关性 |
| MRR | 第一个相关结果的位置 | 问答/导航 |
| nDCG@k | 分级相关性 + 位置折损 | 搜索排序 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| BM25 k1 | 1.2–2.0 | 越大饱和越慢 |
| BM25 b | 0.75 | 长度归一化强度 |
| 评估集规模 | 数百到数千查询 | 覆盖头部/长尾/导航 |
| nDCG@10 | 0–1 | 越接近 1 越好 |
| 标注一致性 | 高 | 多人标注要校准 |
3 实践
3.1 最小示例
// Elasticsearch:BM25 + 字段 boost + phrase 优先。
{
"query": {
"bool": {
"should": [
{"match_phrase": {"title": {"query": "wireless headphones", "boost": 3}}},
{"match": {"title": "wireless headphones"}},
{"match": {"description": "wireless headphones"}}
],
"filter": [{"term": {"status": "published"}}]
}
}
}
// 简化 BM25:用于理解公式,不替代生产实现。
function idf(n: number, df: number): number {
return Math.log(1 + (n - df + 0.5) / (df + 0.5));
}
function bm25(tf: number, dl: number, avgdl: number, n: number, df: number, k1 = 1.5, b = 0.75): number {
return idf(n, df) * (tf * (k1 + 1)) / (tf + k1 * (1 - b + b * dl / avgdl));
}
3.2 常用操作与参数
| 操作 | 命令 / 配置 | 说明 |
|---|---|---|
| 字段权重 | boost / fields | 标题 > 正文 |
| 短语优先 | match_phrase | 精确顺序加权 |
| 同义词 | analyzer/synonym filter | 查询/索引两侧一致 |
| 融合 | RRF/加权求和 | 多路召回合并 |
| 重排 | cross-encoder/规则 | 小候选集精细排序 |
| 评估 | 标注集 + nDCG/MAP | 离线回归 |
3.3 标准流程
- 定义业务目标:导航、问答、探索、交易,指标不同。
- 建评估集:查询 + 分级标注 + 基线指标。
- 调召回:分词、同义词、字段、向量混合。
- 调排序:BM25 参数、字段 boost、短语、业务规则。
- 上线小流量 A/B;监控点击/转化/无结果率。
- 用线上反馈补标注,定期回归。
3.4 与相邻技术的组合
- 全文搜索:BM25 是默认打分器;索引/分析链决定可用信号。
- 向量检索:语义召回 + BM25 召回,用 RRF/加权融合。
- LTR:把 BM25、向量、点击率、业务特征喂给排序模型。
- 评估平台:离线标注 + 在线 A/B 闭环。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 查询类型 | 导航 / 问答 / 探索 | 指标与排序策略 |
| 数据规模 | 小 / 大 | 评估与调参成本 |
| 标注 | 有 / 无 | 能否做 LTR/离线评估 |
| 延迟 | 毫秒 / 十毫秒 | 重排模型复杂度 |
| 语义需求 | 弱 / 强 | 是否引入向量 |
| 业务规则 | 少 / 多 | 规则与学习排序的平衡 |
3.6 决策规则
- 先上 BM25 + 字段 boost,别一上来就 LTR。
- 语义召回不足:加向量,用混合检索。
- 有稳定标注/特征:再考虑 LTR。
- 导航查询:精确匹配/短语优先,权重高于语义。
- 问答:MRR/答案覆盖优先,必要时重排。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| BM25 | 鲁棒、无需训练 | 无语义 | 通用搜索基线 |
| 向量 | 语义召回 | 需模型/索引 | 语义/多模态 |
| 混合 + RRF | 兼顾关键词/语义 | 调参与延迟 | 生产搜索 |
| LTR | 融合多信号 | 标注/特征/训练 | 有数据积累 |
| 规则排序 | 可控、可解释 | 难维护、覆盖差 | 业务强约束 |
3.8 何时不该用
- 只有精确匹配需求:用 keyword/term,不需要相关性模型。
- 没有评估集:不要做大规模排序调参,先建标注。
- 数据量很小:BM25 默认参数通常够用。
- 没有特征/标注:LTR 容易过拟合。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 长文档总是排前 | 未做长度归一化 | 调 b/BM25 |
| 短文档被淹没 | 词频饱和/字段权重 | 调 k1/boost |
| 同义词搜不到 | 分析链不一致 | 统一 synonym filter |
| 离线指标涨、线上跌 | 评估集/位置偏差 | 校准标注、A/B |
| 头部查询过拟合 | 评估集不均衡 | 分桶/长尾覆盖 |
| 结果不稳定 | 规则/权重频繁改 | 版本化 + 回归 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 只看单条查询调参 | 过拟合 | 评估集 + 分桶 |
| 用点击直接当相关性 | 位置偏差 | 去偏/随机化 |
| 盲目堆 boost | 头部结果僵化 | 小步 A/B |
| 忽略无结果率 | 用户流失 | 查询改写/同义词 |
| 离线/线上指标脱节 | 优化无效 | 统一目标 + 在线验证 |
4.3 可观测信号
无结果率、首位点击率、MRR/nDCG(离线)、查询改写命中、A/B 转化、长尾查询覆盖、排序耗时。
4.4 安全 / 性能 / 一致性边界
- 公平性/合规:排序可能放大偏见;敏感属性不要进入模型。
- 可解释性:业务规则与模型分数要能解释关键结果。
- 延迟:重排模型越复杂,候选集要越小。
- 一致性:离线评估与线上特征必须同源,否则指标不可比。