核心 GUIDE

SYSTEM_COMPONENTINTERMEDIATE7 分钟阅读

Reranking(候选重排)

Reranking 是 Retrieval 后的第二阶段:先用便宜方法保证 Candidate Recall,再对小规模候选投入更多计算,让真正与任务相关的 Evidence 排在更前面。

核心心智模型

Retrieval 与 Reranking 解决不同目标:第一阶段尽可能低成本地找全 Plausible Candidate;第二阶段使用更丰富的 Query–Document Reasoning,决定哪些内容值得占用稀缺 Context Budget。

为什么重要

Vector 或 Lexical Retrieval 经常已经找到了正确 Evidence,却把它排得太靠后,Generator 实际用不到。无限增加 top-k 会浪费 Context 并引入 Distractor。Reranker 可以使用更丰富 Feature 或 Cross-encoder-like Comparison 改善排序,但第一阶段完全没有召回的内容,它也无法凭空恢复。

01

把 Recall 与 Precision 分开评估

先在能够覆盖 Relevant Evidence 的 Candidate Depth 上评估 First-stage Recall,再在这些 Candidate 上评估 Reranking Quality。Reranker 接收 Query、Candidate Text 与稳定 Metadata。对 Exact ID、Recency、Policy Question 等关键 Slice 单独测量;如果正确性依赖 Source Hierarchy,则 Authority Filter 必须保持独立。

02

示例:正确政策排在第十二位

Hybrid Retriever 返回 20 个 Candidate,Current Refund Policy 位于 Rank 12,前面是很多相似 FAQ。Reranker 根据 Query 对 Policy 的明确需求,把控制性文档提升到前列。如果 Current Policy 根本没有进入 Candidate Set,Reranking 也无法修复。

常见失败模式

  • 把 First-stage Recall 缺失错误归咎于 Reranker。
  • 不测 Latency 与 Distractor Cost 就持续扩大 Candidate Depth。
  • 让 Relevance Ranking 覆盖显式 Source-authority Rule。

工程启发

  • 分别测 Candidate Recall 与 Final Ranking。
  • 在带 Label 的 Query Slice 上检查 Rank Change。
  • Authority 与 Hard Metadata Constraint 独立于 Learned Relevance 执行。

关键结论

  1. 01Reranking 改善的是顺序,不是缺失 Recall。
  2. 02更昂贵的 Rich Ranking 应放在 Broad Candidate Generation 之后。
  3. 03Retrieval Evaluation 应识别究竟是哪一阶段导致失败。

阅读记录

未打开Practice 尚未完成

这里只记录你真实做过的动作,不代表掌握、熟练或认证。

用于这些学习路径

这个 Concept 会在多个 canonical 学习路径中复用。

来自 Knowledge Graph 的相关知识点

这些关系直接来自 canonical graph,不维护第二套 Guide 分类体系。