核心 GUIDE
MENTAL_MODELINTERMEDIATE6 分钟阅读
Freshness、Authority 与来源优先级
最相似的 Passage 并不一定是系统最应该信任的来源。
核心心智模型
Evidence Selection 需要 Trust Policy:Relevance 回答“是否相关”,Authority 与 Freshness 回答“这个来源是否应该支配决策”。
为什么重要
Knowledge System 中经常同时存在重复内容、旧政策与从更强 Primary Source 派生出来的摘要。如果 Retrieval 只按照 Semantic Similarity 排序,过期 FAQ 完全可能压过当前 Operating Procedure,并产出非常自信但错误的答案。
01
把 Authority 加入 Relevance
尽可能记录 Source Type、Owner、Effective Date、Version 与 Supersession。Retrieval 可以把这些信号作为 Filter 或 Ranking Feature,而最终答案保留 Provenance,让 Operator 能知道究竟是哪一份 Source 支配了 Claim。
02
例子:政策上个月刚改过
旧 FAQ 写着可以 30 天退款,当前 Policy 已经改成 14 天。旧 FAQ 因为语言更像用户表达而获得更高 Vector Similarity。Authority Policy 会把当前 Policy 标记成 Controlling Source,并过滤或显著降低 Legacy FAQ 的优先级。
常见失败模式
- 只按 Similarity 排序而忽略 Effective Date。
- 让 Derived Summary 排在 Primary Policy 之前。
- 知识已过期却没有 Retire 或标记 Superseded。
工程启发
- 把 Authority 与 Freshness 建模成 First-class Metadata。
- 涉及 Action 或 Compliance 的 Claim 优先使用 Primary Source。
- 在 Evaluation 与 Debugging 中暴露 Provenance。
关键结论
- 01Similarity 与 Trust 回答的是不同问题。
- 02Knowledge Quality 取决于 Lifecycle 与 Authority,而不只是 Embedding。
- 03Retrieval Pipeline 应该能解释为什么某个 Source 排在另一个 Source 前面。
来自 Knowledge Graph 的相关知识点
这些关系直接来自 canonical graph,不维护第二套 Guide 分类体系。
Retrieval PipelinePREREQUISITEGuide →
有来源支撑的写作APPLIES_TO