核心 GUIDE
RISKFOUNDATION7 分钟阅读
Hallucination（无证据生成）
Hallucination 是看似可用、但缺少系统证据或约束支持的生成内容；工程修复重点应放在 Evidence 与 Verification，而不是要求模型“更自信地谨慎”。
核心心智模型
把 Hallucination 看成 Evidence Boundary Failure：即使应用没有提供足够权威信息，模型仍然可以继续生成一个语言上非常合理的序列。
为什么重要
如果把 Hallucination 当成模型“性格问题”，团队就容易只增加“请谨慎”之类 Prompt。生产系统真正需要定义：哪些 Claim 必须有 Evidence、证据从哪里来、不确定性如何表达、哪些输出可以自动验证、哪些必须升级人工。Fluent Answer 本身不是 Provenance。
01
让高后果 Claim 绑定可观察证据
先定义产品允许做出的 Claim 类型，以及能够支持这些 Claim 的 Source 或 Tool。检索权威 Evidence，把 Citation 或 Trace ID 一直保留到生成结果，并在可能时使用 Deterministic Constraint 验证输出。当证据缺失或冲突时，Runtime 应选择 Abstain、限定表达或 Escalate，而不是奖励“必须给答案”。
02
示例：凭空判断退款状态
用户问退款是否已经到账。语言模型知道常见退款流程，却没有当前交易状态。如果系统允许它根据对话推断“已经完成”，就会产生无证据 Claim。受控设计会查询支付系统，以观测到的状态为依据；如果 Tool 不可用，就明确返回“无法确认”。
常见失败模式
- 把自信语气当成 Claim 有证据的证明。
- 只加强 Prompt 措辞，却不改善 Source 或 Tool Access。
- 只看平均回答质量，忽略高后果的 Unsupported Claim。
工程启发
- 按 Claim 类型和后果定义 Evidence Requirement。
- 从 Retrieval/Tool Result 到最终回答持续保留 Provenance。
- 同时评估 Abstention 与 Unsupported-claim Rate，而不只评估 Helpfulness。
关键结论
- 01Fluency 不是 Evidence。
- 02无证据 Claim 是系统边界问题。
- 03Retrieval、Tool、Abstention 与 Verification 比自信措辞更可靠。
阅读记录
未打开Practice 尚未完成
这里只记录你真实做过的动作，不代表掌握、熟练或认证。
用于这些学习路径
这个 Concept 会在多个 canonical 学习路径中复用。