Production AI Reliability·Advanced·19 分钟

Production Release Gate Build

Demo 是绿的,但 Release 还没有准备好。

RELEASE BUILD

构建一个真的能够说 BLOCK 的 Gate。

你负责一次包含新模型、Reranker 和 Tool Policy 的发布。

变更通过了 Demo,但上一次发布同样通过 Demo,随后线上 Tool Retry 翻倍。当前计划依然是一次性放量到 100%。

目标

定义 Evidence、Observability、Exposure 与 Fallback 边界,让 SHIP、BLOCK、INCONCLUSIVE 成为操作决策而不是意见。

风险

一个不能 veto 发布的 Release Gate 只是 Checklist。

一句话理解

生产 AI 只有在离线证据、线上 Observability、Rollout 暴露和 Rollback Readiness 全部满足显式 Gate 时才应该发布。

正在加载 Mission Engine…

关键要点

Demo ≠ Evidence

Demo 只展示成功样本,不覆盖失败面。

Canary 是边界

它限制未知线上行为影响多少用户。

Rollback 是设计的一部分

需要它之前就应该已经验证过。

PRODUCTION RULE

Gate 的本质是它的 Veto。

任何 Aggregate Score 都不能抵消一个尚未解决的 Release Veto。

Offline Eval 提供发布前证据,Canary 验证真实分布,Trace 定位回归来源,Rollback 限制恢复时间。Production Gate 必须把这四层合成一个明确决策边界。

  • 把已知 Failure 版本化,让 Regression 可测。
  • 在线上证据出现前先限制 Exposure。
  • Rollback 必须覆盖 Model、Prompt、Retrieval 和 Policy 配置,而不仅是权重。

LEARNING CONTEXT

可复用的 Mental Model

任何 Aggregate Score 都不能抵消一个尚未解决的 Release Veto。

未看过

本次练习的 CONCEPT

  • concept-failure-attribution跨 Model、Retrieval、Tool 与 Runtime 归因失败
  • concept-release-economics把成本、延迟、质量与 Release Veto 合并为一个决策
  • concept-ship-block-inconclusive将证据综合为 SHIP / BLOCK / INCONCLUSIVE
  • concept-rollout-fallbackBounded Rollout、Fallback 与 Graceful Degradation

建议补充前置

进入这起事故前,没有必须完成的已发布前置内容。

迁移这个模型

离线 Eval 提升 6%,但 Canary 的 Tool Retry 上升 40%。哪个信号应该拥有 Release 决策权?

查看完整学习路径

下一步:判断是否真的需要改模型

比较 Prompt/RAG Baseline、Adapter、Quantized PEFT 与 Full Fine-tuning 的效果和 Serving 成本。

打开 Model Adaptation Lab