核心 GUIDE
Reranking(候选重排)
Reranking 是 Retrieval 后的第二阶段:先用便宜方法保证 Candidate Recall,再对小规模候选投入更多计算,让真正与任务相关的 Evidence 排在更前面。
核心心智模型
Retrieval 与 Reranking 解决不同目标:第一阶段尽可能低成本地找全 Plausible Candidate;第二阶段使用更丰富的 Query–Document Reasoning,决定哪些内容值得占用稀缺 Context Budget。
为什么重要
Vector 或 Lexical Retrieval 经常已经找到了正确 Evidence,却把它排得太靠后,Generator 实际用不到。无限增加 top-k 会浪费 Context 并引入 Distractor。Reranker 可以使用更丰富 Feature 或 Cross-encoder-like Comparison 改善排序,但第一阶段完全没有召回的内容,它也无法凭空恢复。
01
把 Recall 与 Precision 分开评估
先在能够覆盖 Relevant Evidence 的 Candidate Depth 上评估 First-stage Recall,再在这些 Candidate 上评估 Reranking Quality。Reranker 接收 Query、Candidate Text 与稳定 Metadata。对 Exact ID、Recency、Policy Question 等关键 Slice 单独测量;如果正确性依赖 Source Hierarchy,则 Authority Filter 必须保持独立。
02
示例:正确政策排在第十二位
Hybrid Retriever 返回 20 个 Candidate,Current Refund Policy 位于 Rank 12,前面是很多相似 FAQ。Reranker 根据 Query 对 Policy 的明确需求,把控制性文档提升到前列。如果 Current Policy 根本没有进入 Candidate Set,Reranking 也无法修复。
常见失败模式
- 把 First-stage Recall 缺失错误归咎于 Reranker。
- 不测 Latency 与 Distractor Cost 就持续扩大 Candidate Depth。
- 让 Relevance Ranking 覆盖显式 Source-authority Rule。
工程启发
- 分别测 Candidate Recall 与 Final Ranking。
- 在带 Label 的 Query Slice 上检查 Rank Change。
- Authority 与 Hard Metadata Constraint 独立于 Learned Relevance 执行。
关键结论
- 01Reranking 改善的是顺序,不是缺失 Recall。
- 02更昂贵的 Rich Ranking 应放在 Broad Candidate Generation 之后。
- 03Retrieval Evaluation 应识别究竟是哪一阶段导致失败。
阅读记录
这里只记录你真实做过的动作,不代表掌握、熟练或认证。
用于这些学习路径
这个 Concept 会在多个 canonical 学习路径中复用。
来自 Knowledge Graph 的相关知识点
这些关系直接来自 canonical graph,不维护第二套 Guide 分类体系。