核心 GUIDE
Auditability 是 Durable Decision Evidence
可 Audit 的 AI System 会保留足够 Durable Evidence,重建发生了什么、适用了什么 Rule,以及谁或什么授权了 Consequential Action。
核心心智模型
Auditability 是 Decision-relevant Fact 的 Durable Ledger:Identity、Version、Evidence、Policy Check、Approval、Action 与 Outcome 通过 Stable Correlation Identifier 连接起来。
为什么重要
Conversation Transcript 很少能单独证明系统为什么采取某个 Action。Message 可能没有 Runtime Check、External State 与 Policy Version,而 Verbose Log 也可能淹没真正重要的一条 Evidence。Audit Record 应围绕 Accountability Question 设计,让 Operator 不依赖 Generated Narration 也能重建 Decision。
01
在 Consequential Boundary 记录 Fact
系统穿过 Trust / Side-effect Boundary 时,持久化 Actor、Operation Identity、Relevant Input Reference、Policy / Configuration Version、Validation Result、必要的 Human Approval、External Action Identifier 与 Verified Outcome。Audit Record 不应由普通 Model Write 随意修改,同时应根据敏感度配置 Retention 与 Access Policy。
02
例子:为什么 Account Credit 被发出?
几个月后 Auditor 需要追踪一次 Support Credit。Audit Record 连接 Ticket、Customer Plan、Controlling Policy Version、Retrieved Evidence、Agent Proposal、允许该金额的 Automated Rule、Payment Operation ID 与 Final Settlement。答案不需要从 Chat Prose 中猜 Intent。
常见失败模式
- 把 Raw Conversation History 当作唯一 Audit Record。
- 允许 Model Rewrite / Summarize Authoritative Audit Fact。
- 什么都 Logging,却没有 Stable Identity 与 Policy Version。
工程启发
- 从 Reviewer 未来必须回答的问题反向设计 Audit Field。
- Authoritative Reference 与 Decision 与 Generated Explanation 分开存储。
- 对 Audit Data 实施 Privacy、Access 与 Retention Control。
关键结论
- 01Auditability 的目标是重建 Accountable Decision。
- 02Durable Fact 应该比 Conversational Context 活得更久。
- 03好的 Audit Record 能连接 Policy、Authorization、Action 与 Outcome。