核心 GUIDE

MENTAL_MODELINTERMEDIATE6 分钟阅读

Observability 是诊断界面

只有当 Log 与 Trace 能帮助 Operator 重建 Model、Retrieval、Tool 与 Runtime 之间的因果路径时,它们才真正有价值。

核心心智模型

Observability 应该暴露 Causal Execution Path:每个 Boundary 进入了什么、选择了什么证据、做了什么 Decision、Environment 又返回了什么。

为什么重要

AI Failure 很容易被错误归因。Wrong Answer 可能来自 Retrieval 漏证据、Source Authority 过期、Tool Response 异常、Application State Bug,也可能真的来自 Model Behavior。缺少跨层 Evidence 时,团队往往默认去改 Prompt,即使 Prompt 根本不是失败组件。

01

跨 Boundary Trace Decision

记录稳定的 Request 与 Operation ID、关键 Input、Retrieval Candidate 与最终选择的 Evidence、Tool Call、Validation Outcome 与 Release Decision。Trace 应该让 State Transition 可检查,而不是要求 Operator 从大量互不关联的 Timestamp Log 中手工重建 Workflow。

02

例子:发错了 Customer Credit

Support Agent 给用户发错 Credit。最终 Answer 看起来像 Reasoning Error,但 Trace 显示 Retrieval 实际加载了另一个 Customer Plan 的 Policy。真正修复点是 Retrieval Filtering 与 Identity Propagation,而不是把 System Prompt 写得更长。

常见失败模式

  • 只记录最终 Prompt 与 Response。
  • 收集大量 Log,却没有 Correlation Identifier。
  • Dashboard 只能显示 Error,却看不出是哪个 System Layer 产生的。

工程启发

  • 在重要 System Boundary 记录 Input 与 Output。
  • 使用 Stable ID 串联 Model、Retrieval、Tool 与 Runtime Event。
  • 围绕 Operator 在 Diagnosis 时真正需要回答的问题设计 Trace。

关键结论

  1. 01有用的 Observability 必须支持 Attribution。
  2. 02State Transition 比孤立 Timestamp 更重要。
  3. 03高质量 Evidence 能防止 Prompt Tuning 变成所有失败的默认修复方式。

来自 Knowledge Graph 的相关知识点

这些关系直接来自 canonical graph,不维护第二套 Guide 分类体系。

Traceability 是因果执行历史PREREQUISITE
跨 Model、Retrieval、Tool 与 Runtime 归因失败PREREQUISITE