核心 GUIDE
Failure Attribution(故障归因)
Failure Attribution 判断 Bad Outcome 最可能来自 Model、Prompt、Context、Retrieval、Tool、State、Orchestration 还是 Runtime,使 Fix 针对 Mechanism,而不是只修最终症状。
核心心智模型
把 AI Outcome 看成 Causal Chain 的终点。Attribution 要找到 Evidence 第一次偏离 Expected Path 的位置,并判断哪种 Intervention 能阻止这个 Divergence。
为什么重要
没有 Attribution,团队会对每个错误答案都改 Prompt 或换 Model,造成 Churn,也容易掩盖 Infrastructure、Stale Data、Tool Failure。Layered Trace 与 Controlled Comparison 可以把 Incident 转成真正 Actionable Engineering Evidence。
01
定位 First Divergence,并测试竞争解释
记录 Model Input/Output、Retrieved Evidence、Tool Call、State Transition 与 Runtime Decision,并使用 Stable Identifier 串联。重建 Expected Path,找到最早有意义的 Mismatch,再一次只改变一个 Layer 或 Replay Case。多种 Cause 仍可能成立时,应把结论标为 Probable,而不是伪造确定性。
02
示例:所谓 Hallucinated Refund Rule 实际来自 Stale Retrieval
Support Assistant 引用了上周已删除的 Refund Rule。团队最初归因 Model Hallucination,但 Trace 显示 Retriever 返回了 Old Cached Policy,模型只是忠实 Summarize。正确 Fix 是 Cache Invalidation 与 Source Authority,而不是更强的“不要 Hallucinate” Prompt。
常见失败模式
- 因为 Model 是最显眼组件,就把所有 Wrong Answer 都归因给它。
- 只看 Final Response,不检查生成它的 Evidence 与 State。
- 同时修改多个 Layer,导致无法知道哪个 Fix 真正有效。
工程启发
- 提出 Fix 前先找到最早可观察的 Divergence。
- 为重要 Incident 保留足够 Trace 以支持 Replay。
- Attribution 不确定时,用 Controlled Intervention 区分 Cause。
关键结论
- 01Bad Output 的原因可能远在 Generation 之前。
- 02Attribution 会把 Observability 转成 Repair Decision。
- 03最好的 Fix 针对 Causal Layer,而不是最显眼 Symptom。
阅读记录
这里只记录你真实做过的动作,不代表掌握、熟练或认证。
用于这些学习路径
这个 Concept 会在多个 canonical 学习路径中复用。
来自 Knowledge Graph 的相关知识点
这些关系直接来自 canonical graph,不维护第二套 Guide 分类体系。