Knowledge Systems·中级·18 分钟

构建 AI 知识库

Corpus 里有正确 Policy,也有两个过期版本,而且旧版本排名更高。

SYSTEM BUILD

让知识在上线之后仍然正确。

你负责 4,800 份 Product、Policy 与 Support 文档。

Vector Recall 看起来不错,但 Source Conflict 与 Stale Copy 仍然产生错误答案;Source of Truth 更新数天后才进入检索。

目标

设计一个优先权威 Evidence、快速 Refresh、并可做 Regression Test 的 Retrieval Lifecycle。

风险

只在 Demo 里有效的 Retrieval,上线后会变成 Stale-answer Machine。

一句话理解

真正可用的 Knowledge Base 是一个 Lifecycle:Ingestion、Authority、Retrieval、Freshness 与 Evaluation 要长期一致。

正在加载 Mission Engine…

关键要点

Corpus ≠ Knowledge

文档堆没有 Authority 与 Lifecycle。

Recall ≠ Correctness

Ranking Policy 决定哪份 Evidence 获胜。

Freshness 可观测

Update 要有可测 Latency 与 Regression Check。

TRANSFER

Knowledge 需要持续维护,而不是只做 Embedding。

Similarity 只是 Retrieval Signal;Authority、Freshness、Exact Identifier 与 Evaluation 决定 Evidence 是否可用。

生产 Knowledge Base 需要显式 Source Ownership、宽召回 Candidate、Ranking Policy、快速 Update Path,以及能捕获 Regression 的 Failure Set。

  • 在 Retrieval 前先建立 Authority 与 Ownership。
  • 使用已知 Failure Class 测试完整 Retrieval Pipeline。
  • 把 Stale Evidence 当作运行事故,而不是 Prompt 问题。

LEARNING CONTEXT

可复用的 Mental Model

Similarity 只是 Retrieval Signal;Authority、Freshness、Exact Identifier 与 Evaluation 决定 Evidence 是否可用。

未看过

本次练习的 CONCEPT

  • concept-knowledge-base-lifecycle知识库生命周期
  • concept-retrieval-pipelineRetrieval Pipeline
  • concept-memory-lifecycleMemory 写入、读取生命周期与选择策略
  • concept-retrieval-evaluation分别评测 Retrieval 与 Generation

建议补充前置

进入这起事故前,没有必须完成的已发布前置内容。

迁移这个模型

一份高频文档被新版本替代后,如何证明旧 Policy 已经不再影响 Answer?

查看完整学习路径

下一步:Support System

把 Knowledge、Tool、Autonomy 与 Escalation 组合成客服系统。

构建 AI 客服