核心 GUIDE

PATTERNINTERMEDIATE6 分钟阅读

Auditability 是 Durable Decision Evidence

可 Audit 的 AI System 会保留足够 Durable Evidence,重建发生了什么、适用了什么 Rule,以及谁或什么授权了 Consequential Action。

核心心智模型

Auditability 是 Decision-relevant Fact 的 Durable Ledger:Identity、Version、Evidence、Policy Check、Approval、Action 与 Outcome 通过 Stable Correlation Identifier 连接起来。

为什么重要

Conversation Transcript 很少能单独证明系统为什么采取某个 Action。Message 可能没有 Runtime Check、External State 与 Policy Version,而 Verbose Log 也可能淹没真正重要的一条 Evidence。Audit Record 应围绕 Accountability Question 设计,让 Operator 不依赖 Generated Narration 也能重建 Decision。

01

在 Consequential Boundary 记录 Fact

系统穿过 Trust / Side-effect Boundary 时,持久化 Actor、Operation Identity、Relevant Input Reference、Policy / Configuration Version、Validation Result、必要的 Human Approval、External Action Identifier 与 Verified Outcome。Audit Record 不应由普通 Model Write 随意修改,同时应根据敏感度配置 Retention 与 Access Policy。

02

例子:为什么 Account Credit 被发出?

几个月后 Auditor 需要追踪一次 Support Credit。Audit Record 连接 Ticket、Customer Plan、Controlling Policy Version、Retrieved Evidence、Agent Proposal、允许该金额的 Automated Rule、Payment Operation ID 与 Final Settlement。答案不需要从 Chat Prose 中猜 Intent。

常见失败模式

  • 把 Raw Conversation History 当作唯一 Audit Record。
  • 允许 Model Rewrite / Summarize Authoritative Audit Fact。
  • 什么都 Logging,却没有 Stable Identity 与 Policy Version。

工程启发

  • 从 Reviewer 未来必须回答的问题反向设计 Audit Field。
  • Authoritative Reference 与 Decision 与 Generated Explanation 分开存储。
  • 对 Audit Data 实施 Privacy、Access 与 Retention Control。

关键结论

  1. 01Auditability 的目标是重建 Accountable Decision。
  2. 02Durable Fact 应该比 Conversational Context 活得更久。
  3. 03好的 Audit Record 能连接 Policy、Authorization、Action 与 Outcome。