核心 GUIDE
Slice 与 Regression Suite
Aggregate Quality 不够；Release Evaluation 需要代表关键用户、任务与失败模式的 Stable Slice，以及防止已解决问题重新出现的 Regression Case。
核心心智模型
Evaluation Suite 是一组 Slice Portfolio。每个 Slice 代表一个有意义的 Operating Condition；Regression Case 则把已经发现的 Failure 固化成永久 Release Evidence。
为什么重要
一次 Model Upgrade 可能提升总体分数，却破坏 Multilingual Query、Long Context 或 High-impact Tool Call。Random Sample 往往低估 Product 最在意的边界。显式 Slice 让 Trade-off 可见，而 Regression Case 会把 Incident / Bug 变成 Durable Organizational Memory，让未来 Release 继续遵守已经学到的 Invariant。
01
把 Product Risk 变成 Named Evaluation Slice
从 User Segment、Task Family、Difficulty、Language、Tool Pattern、Context Size 与 Known Risk Boundary 定义 Slice。Critical Slice 使用自己的 Threshold，而不是只依赖 Weighted Average。Production 或 Evaluation Failure 被理解后，加入 Representative Regression Case，记录 Expected Evidence 与 Outcome，让同类 Defect 在未来 Release 前被自动捕获。
02
例子：Aggregate Score 上升，但中文 Support 退化
新 Model 让总体 Support Accuracy 从 91% 升到 93%，但 Chinese Billing Slice 从 92% 跌到 82%。如果 Release Policy 有 Per-slice Minimum Threshold，就会阻止 Rollout，直到原因被理解，即使 Headline Metric 看起来更好。
常见失败模式
- 只使用一个 Aggregate Score 作为 Release Criterion。
- 创建大量 Slice，但每个只有极少 Example，无法支持 Decision。
- 修复 Incident 后没有添加 Regression Case 来保护已学到的 Invariant。
工程启发
- 只创建对应真实 Product Decision / Risk 的 Slice。
- Critical Slice 维护 Explicit Veto Threshold。
- 把已理解 Incident 与 High-value Bug 提升成 Durable Regression Case。
关键结论
- 01Average Improvement 会隐藏重要 Regression。
- 02Slice 把 Evaluation 与 Product Risk 连接起来。
- 03Regression Suite 跨越 Model / Application Change 保存经验。
用于这些学习路径
这个 Concept 会在多个 canonical 学习路径中复用。
来自 Knowledge Graph 的相关知识点
这些关系直接来自 canonical graph，不维护第二套 Guide 分类体系。