核心 GUIDE

PRACTICEINTERMEDIATE7 分钟阅读

Failure Attribution(故障归因)

Failure Attribution 判断 Bad Outcome 最可能来自 Model、Prompt、Context、Retrieval、Tool、State、Orchestration 还是 Runtime,使 Fix 针对 Mechanism,而不是只修最终症状。

核心心智模型

把 AI Outcome 看成 Causal Chain 的终点。Attribution 要找到 Evidence 第一次偏离 Expected Path 的位置,并判断哪种 Intervention 能阻止这个 Divergence。

为什么重要

没有 Attribution,团队会对每个错误答案都改 Prompt 或换 Model,造成 Churn,也容易掩盖 Infrastructure、Stale Data、Tool Failure。Layered Trace 与 Controlled Comparison 可以把 Incident 转成真正 Actionable Engineering Evidence。

01

定位 First Divergence,并测试竞争解释

记录 Model Input/Output、Retrieved Evidence、Tool Call、State Transition 与 Runtime Decision,并使用 Stable Identifier 串联。重建 Expected Path,找到最早有意义的 Mismatch,再一次只改变一个 Layer 或 Replay Case。多种 Cause 仍可能成立时,应把结论标为 Probable,而不是伪造确定性。

02

示例:所谓 Hallucinated Refund Rule 实际来自 Stale Retrieval

Support Assistant 引用了上周已删除的 Refund Rule。团队最初归因 Model Hallucination,但 Trace 显示 Retriever 返回了 Old Cached Policy,模型只是忠实 Summarize。正确 Fix 是 Cache Invalidation 与 Source Authority,而不是更强的“不要 Hallucinate” Prompt。

常见失败模式

  • 因为 Model 是最显眼组件,就把所有 Wrong Answer 都归因给它。
  • 只看 Final Response,不检查生成它的 Evidence 与 State。
  • 同时修改多个 Layer,导致无法知道哪个 Fix 真正有效。

工程启发

  • 提出 Fix 前先找到最早可观察的 Divergence。
  • 为重要 Incident 保留足够 Trace 以支持 Replay。
  • Attribution 不确定时,用 Controlled Intervention 区分 Cause。

关键结论

  1. 01Bad Output 的原因可能远在 Generation 之前。
  2. 02Attribution 会把 Observability 转成 Repair Decision。
  3. 03最好的 Fix 针对 Causal Layer,而不是最显眼 Symptom。

阅读记录

未打开Practice 尚未完成

这里只记录你真实做过的动作,不代表掌握、熟练或认证。

用于这些学习路径

这个 Concept 会在多个 canonical 学习路径中复用。

来自 Knowledge Graph 的相关知识点

这些关系直接来自 canonical graph,不维护第二套 Guide 分类体系。