核心 GUIDE
从 Input 到 Outcome 的 Traceability
Traceability 把 User Request、Selected Evidence、Model Decision、Tool Action 与最终 Outcome 串成一条可重建的跨层执行链。
核心心智模型
Trace 是带 Stable Identity 与 Structured Event 的 Linked Execution History,而不是一堆 Log。它应该回答:一个 Outcome 如何由具体 Input、Version 与 State Transition 逐步形成。
为什么重要
AI Incident 往往横跨多个 Component:Retrieval 选错 Source,Model 选择 Tool,Validator 接受弱结果,Runtime 又 Retry。没有 Shared Correlation ID 与 Decision-relevant Metadata 时,每个 Subsystem 看起来都“局部合理”。Traceability 让 End-to-end Attribution、Evaluation Replay、Debugging 与 Audit 成为可能,而不是依赖人脑回忆或事后写 Summary。
01
沿 Execution Path 传播 Identity
入口创建 Request / Task Identity,Side Effect 使用 Stable Operation ID,重要 Stage 建立 Trace / Span Relationship。记录 Relevant Version、Selected Evidence Reference、Model / Tool Boundary、Validation Outcome 与 State Change。不要默认记录 Hidden Sensitive Content;只保留重建 Causal Execution Path 所需的最小 Structured Fact。
02
例子:一条错误的 Policy Answer
Customer 收到错误答案。Trace 把 Request 连接到 Retrieval Candidate ID,显示 Old Policy 在 Reranking 中胜出,记录 Prompt / Model Version,并确认没有 Tool Action。团队因此能修 Authority Ranking,而不是猜测 Model 突然“变笨了”。
常见失败模式
- 只有互不关联的 Timestamp Log,没有 Shared Correlation Identity。
- 只记录 Final Prompt 与 Response,看不到 Retrieval 与 Tool Decision。
- 为了 Observability 无差别记录 Sensitive Raw Content。
工程启发
- 跨 Model、Retrieval、Tool 与 Runtime Boundary 传播 Stable ID。
- 记录复现关键 Decision 所需的 Version 与 Evidence Reference。
- Trace 同时服务 Diagnosis 与 Privacy,尽量减少 Sensitive Payload Retention。
关键结论
- 01Traceability 把 Cause 与 Outcome 串跨 System Layer。
- 02Structured Identity 比海量不相关 Log 更有价值。
- 03高质量 Trace 支持 Debug、Replay 与可问责的 Release Decision。
用于这些学习路径
这个 Concept 会在多个 canonical 学习路径中复用。
来自 Knowledge Graph 的相关知识点
这些关系直接来自 canonical graph,不维护第二套 Guide 分类体系。