核心 GUIDE

CONCEPTINTERMEDIATE7 分钟阅读

Supervised Fine-tuning

SFT 用 Curated Input–Target Example 适配 Model Behavior,但应该解决已经被证明存在的 Behavior Gap,而不是替代 Application Design。

核心心智模型

SFT 通过重复展示 Desired Response 改变 Model 的 Conditional Behavior。它更适合作为带 Dataset Contract 的 Behavior Adaptation,而不是“把产品知识上传进模型”。

为什么重要

Prompt 越来越复杂时,Fine-tuning 很有诱惑力,但 Training 会引入更慢的 Feedback Loop 与新的 Data-quality Risk。SFT 最适合 Stable、Repeated、Across-many-requests 的 Behavior Gap。Dynamic Fact、Permission 与 Business Rule 通常应该留在 Retrieval、Tool 或 Application Code,因为它们必须能够在不 Retrain 的情况下快速变化。

01

让 Training Example 对齐稳定 Behavior Objective

先用 Evaluation Suite 定义 Behavior Gap。Curate Representative Input–Target Pair,包含 Difficult Slice 与 Negative Case,并严格分离 Training 与 Eval Data。训练 Candidate 后,使用同一 Harness 与 Untuned Baseline 比较,并检查 Target Behavior 之外的 Regression。只有当 Gain 能覆盖 Serving、Maintenance 与 Retraining Cost 时,Adaptation 才值得。

02

例子:稳定的 Structured Classification Style

一个产品需要大量短 Classification,并要求 Domain-specific Label Format。Prompt 可以工作,但需要塞很多 Example,仍然容易 Drift。团队用 Curated SFT Dataset 学习稳定 Label Behavior,同时把经常变化的 Policy Text 留在 Retrieval 中,这样 Policy Update 不需要重新 Training。

常见失败模式

  • 用 SFT 记忆频繁变化的 Fact 或 Policy。
  • 还没有证明 Behavior Gap,就先开始做 Training Dataset。
  • Train / Test Split 之间混入 Duplicate 或同源 Model-generated Example。

工程启发

  • 先做 Evaluation Suite,再做 Training Dataset。
  • Fine-tune Stable Repeated Behavior,Retrieve Dynamic Knowledge。
  • 除了 Target Slice Improvement,也要测 Regression 与 Operational Cost。

关键结论

  1. 01SFT 是 Behavior Adaptation,不是通用 Database。
  2. 02Dataset Quality 与 Split Integrity 决定 Improvement 是否可信。
  3. 03Training 必须证明自己优于更简单的 Application-layer Alternative。

来自 Knowledge Graph 的相关知识点

这些关系直接来自 canonical graph,不维护第二套 Guide 分类体系。

偏好 Post-trainingPREREQUISITE
预训练目标PREREQUISITE