核心 GUIDE

MENTAL_MODELINTERMEDIATE6 分钟阅读

从 Input 到 Outcome 的 Traceability

Traceability 把 User Request、Selected Evidence、Model Decision、Tool Action 与最终 Outcome 串成一条可重建的跨层执行链。

核心心智模型

Trace 是带 Stable Identity 与 Structured Event 的 Linked Execution History,而不是一堆 Log。它应该回答:一个 Outcome 如何由具体 Input、Version 与 State Transition 逐步形成。

为什么重要

AI Incident 往往横跨多个 Component:Retrieval 选错 Source,Model 选择 Tool,Validator 接受弱结果,Runtime 又 Retry。没有 Shared Correlation ID 与 Decision-relevant Metadata 时,每个 Subsystem 看起来都“局部合理”。Traceability 让 End-to-end Attribution、Evaluation Replay、Debugging 与 Audit 成为可能,而不是依赖人脑回忆或事后写 Summary。

01

沿 Execution Path 传播 Identity

入口创建 Request / Task Identity,Side Effect 使用 Stable Operation ID,重要 Stage 建立 Trace / Span Relationship。记录 Relevant Version、Selected Evidence Reference、Model / Tool Boundary、Validation Outcome 与 State Change。不要默认记录 Hidden Sensitive Content;只保留重建 Causal Execution Path 所需的最小 Structured Fact。

02

例子:一条错误的 Policy Answer

Customer 收到错误答案。Trace 把 Request 连接到 Retrieval Candidate ID,显示 Old Policy 在 Reranking 中胜出,记录 Prompt / Model Version,并确认没有 Tool Action。团队因此能修 Authority Ranking,而不是猜测 Model 突然“变笨了”。

常见失败模式

  • 只有互不关联的 Timestamp Log,没有 Shared Correlation Identity。
  • 只记录 Final Prompt 与 Response,看不到 Retrieval 与 Tool Decision。
  • 为了 Observability 无差别记录 Sensitive Raw Content。

工程启发

  • 跨 Model、Retrieval、Tool 与 Runtime Boundary 传播 Stable ID。
  • 记录复现关键 Decision 所需的 Version 与 Evidence Reference。
  • Trace 同时服务 Diagnosis 与 Privacy,尽量减少 Sensitive Payload Retention。

关键结论

  1. 01Traceability 把 Cause 与 Outcome 串跨 System Layer。
  2. 02Structured Identity 比海量不相关 Log 更有价值。
  3. 03高质量 Trace 支持 Debug、Replay 与可问责的 Release Decision。

用于这些学习路径

这个 Concept 会在多个 canonical 学习路径中复用。

来自 Knowledge Graph 的相关知识点

这些关系直接来自 canonical graph,不维护第二套 Guide 分类体系。