核心 GUIDE

PATTERNINTERMEDIATE6 分钟阅读

Human Review Boundary

Human Review 只有在高后果 Boundary 上拥有明确 Decision 时才真正有价值,而不是让人随手看一眼 AI Output。

核心心智模型

Human Review Boundary 是 Policy-controlled Handoff:系统明确哪些 Action 必须 Review、Reviewer 会看到什么 Evidence、需要做什么 Decision,以及 Approve、Reject 或 Request Changes 后 Runtime 如何继续。

为什么重要

随便增加一个 Human-in-the-loop Step 很容易制造“看起来更安全”的假象。如果 Reviewer 面对海量低价值 Context、看不到关键 Evidence,或者根本没有权限 Block Action,他们最终只会成为 Rubber Stamp。强 Review Boundary 应放在 Impact、Irreversibility、Policy Ambiguity 或 Accountability 足以要求人工判断的位置。

01

把 Handoff 设计成 Decision Contract

先按 Impact 与 Reversibility 对 Action 分类,再定义明确 Escalation Trigger,例如 Policy Conflict、Missing Evidence、高金额或 Destructive Side Effect。给 Reviewer 提供完成 Decision 所需的最小 Evidence Set。Runtime 必须在 Consequential Action 之前暂停,直到明确 Review Outcome 被记录,并把这个 Outcome 作为 Durable Audit Evidence 保存。

02

例子:Support Agent 的 Refund Escalation

Support Agent 可以自动搜索 Policy 与 Draft Reply。规则内的小额 Credit 可以自动执行,但大额 Refund 或冲突 Policy Evidence 会创建 Review Task,其中包含 Customer State、Controlling Policy、Proposed Action 与 Escalation Reason。Reviewer 可以 Approve、Edit 或 Reject,模型不能靠重新措辞绕过这个 Decision。

常见失败模式

  • Irreversible Action 已经发生之后才安排 Human Review。
  • 把完整 Transcript 扔给 Reviewer,而不是提供 Decision-relevant Evidence。
  • 只写模糊 Escalation 文案,没有 Runtime 强制执行 Trigger。

工程启发

  • 明确 Human 到底拥有哪一个 Decision,以及哪些 Action 必须等待。
  • 按 Impact、Ambiguity 与 Reversibility Escalate,而不是只看 Model Confidence。
  • 把 Review Outcome 保存成 Durable Runtime State 与 Audit Evidence。

关键结论

  1. 01Human-in-the-loop 本质上是 Boundary Design,不是 Checkbox。
  2. 02Review 在 Consequential Side Effect 之前最有力量。
  3. 03Reviewer 需要相关 Evidence,也需要真正 Block 的权限。

来自 Knowledge Graph 的相关知识点

这些关系直接来自 canonical graph,不维护第二套 Guide 分类体系。

可逆与不可逆操作ENABLES