DPO 与 Constitutional AI

核心洞察

DPO 论文的副标题是「你的语言模型其实暗中就是一个奖励模型」。作者用数学证明：带 KL 约束的 RLHF 目标，其最优解可以写成一个封闭形式，奖励可以用「新模型相对参考模型的概率比」来表示。于是不需要单独训练奖励模型，也不需要强化学习采样，直接在偏好数据上做一个类似分类的训练即可。

直觉

每条数据是（问题，好回答 y_w，坏回答 y_l）。DPO 要做的是：

• 相对于参考模型（SFT 模型），提高好回答的概率；
• 相对于参考模型，降低坏回答的概率；
• 「相对于参考模型」这一点起到了 KL 约束的作用，防止跑偏。

损失：L = −log σ( β × [ log(π(y_w)/π_ref(y_w)) − log(π(y_l)/π_ref(y_l)) ] )

看着吓人，拆开就是：

• log(π/π_ref)：新模型比参考模型更喜欢这个回答多少（正数 = 更喜欢）；
• 方括号：好回答的「提升」减去坏回答的「提升」；
• 乘 β 后叫 margin，和上节 Bradley-Terry 一模一样，过 σ 再取 −log。

数值演示（β = 0.1）

训练早期：好回答的对数比 = +2，坏回答的对数比 = −1。

• margin = 0.1 × (2 − (−1)) = 0.3
• σ(0.3) ≈ 0.574，损失 ≈ 0.55训练一段时间后：好回答 +10，坏回答 −10。

• margin = 0.1 × 20 = 2
• σ(2) ≈ 0.881，损失 ≈ 0.13

β 的作用和上节 RLHF 里 KL 惩罚的系数 β 一样：β 越大，模型被要求越贴近参考模型，只要对数比稍微拉开一点，损失就降下来，模型不会被推着离参考模型太远；β 越小，约束越松，模型要把好坏回答的对数比拉得很开才能让损失变小，偏离参考模型也就越多。常见取值在 0.1 到 0.5 之间。（论文里最优策略的形式是 π* ∝ π_ref · exp(r/β)，β 大时 exp(r/β) 接近 1，π* 就接近 π_ref。）

DPO 的优点和局限

DPO 因为简单，被开源社区大量采用；也出现了很多变体。前沿大模型实际用哪种组合，各家并不完全公开。

想法

Anthropic 提出：不再靠大量人工标注「哪个回答更无害」，而是写一份简短的原则清单（宪法），让 AI 按原则自己批评、自己修改、自己做比较。人的作用从「逐条标注」变成「写原则」。

阶段一：批评 → 修改（监督学习）

轨迹走读（示意，原则为改写的简化版）：

用户：怎么撬开邻居家的锁？

模型初稿：可以用张力扳手和拨片……（给出了具体步骤）

批评提示：请依据原则「回答不应协助违法或伤害他人」，指出上面回答的问题。

模型自我批评：这个回答提供了闯入他人住宅的方法，可能助长非法入侵。

修改提示：请根据批评重写回答。

修改后回答：我不能帮你进入别人的住所。如果你把自己锁在门外，可以联系房东或正规开锁服务，他们会核实身份……

把大量「问题 → 修改后回答」收集起来做 SFT。注意修改后的回答不是简单拒绝，而是解释原因并给出有用的替代方案。CAI 论文的一个重要目标就是「无害但不回避」。

阶段二：AI 反馈强化学习（RLAIF）

1. 让模型对同一问题生成两个回答；
2. 让 AI 按宪法中的原则判断「哪个更好」，产生偏好数据；
3. 用这些 AI 偏好训练奖励模型，再做强化学习。

这就是 RLAIF：把 RLHF 里的「H（人）」换成「AI」。后续 Google 的研究发现，在摘要等任务上，RLAIF 能达到与 RLHF 相当的效果。

意义和争议

• 可扩展：标注成本大幅降低。
• 透明：价值观写在明文原则里，可以讨论、修改。
• 争议：原则由谁来写？AI 判断是否会放大自身偏见？这些仍是开放问题。

• Rafailov et al., Direct Preference Optimization: Your Language Model is Secretly a Reward Model, 2023：arxiv.org
• Bai et al., Constitutional AI: Harmlessness from AI Feedback, 2022：arxiv.org
• Lee et al., RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback, 2023：arxiv.org