核心 GUIDE

MENTAL_MODELINTERMEDIATE6 分钟阅读

Freshness、Authority 与来源优先级

最相似的 Passage 并不一定是系统最应该信任的来源。

核心心智模型

Evidence Selection 需要 Trust Policy:Relevance 回答“是否相关”,Authority 与 Freshness 回答“这个来源是否应该支配决策”。

为什么重要

Knowledge System 中经常同时存在重复内容、旧政策与从更强 Primary Source 派生出来的摘要。如果 Retrieval 只按照 Semantic Similarity 排序,过期 FAQ 完全可能压过当前 Operating Procedure,并产出非常自信但错误的答案。

01

把 Authority 加入 Relevance

尽可能记录 Source Type、Owner、Effective Date、Version 与 Supersession。Retrieval 可以把这些信号作为 Filter 或 Ranking Feature,而最终答案保留 Provenance,让 Operator 能知道究竟是哪一份 Source 支配了 Claim。

02

例子:政策上个月刚改过

旧 FAQ 写着可以 30 天退款,当前 Policy 已经改成 14 天。旧 FAQ 因为语言更像用户表达而获得更高 Vector Similarity。Authority Policy 会把当前 Policy 标记成 Controlling Source,并过滤或显著降低 Legacy FAQ 的优先级。

常见失败模式

  • 只按 Similarity 排序而忽略 Effective Date。
  • 让 Derived Summary 排在 Primary Policy 之前。
  • 知识已过期却没有 Retire 或标记 Superseded。

工程启发

  • 把 Authority 与 Freshness 建模成 First-class Metadata。
  • 涉及 Action 或 Compliance 的 Claim 优先使用 Primary Source。
  • 在 Evaluation 与 Debugging 中暴露 Provenance。

关键结论

  1. 01Similarity 与 Trust 回答的是不同问题。
  2. 02Knowledge Quality 取决于 Lifecycle 与 Authority,而不只是 Embedding。
  3. 03Retrieval Pipeline 应该能解释为什么某个 Source 排在另一个 Source 前面。

来自 Knowledge Graph 的相关知识点

这些关系直接来自 canonical graph,不维护第二套 Guide 分类体系。

Retrieval PipelinePREREQUISITEGuide
有来源支撑的写作APPLIES_TO