对齐与 RLHF

关键细节：

• 只在 response 上计算 loss: prompt 中的 token 不计入损失（有的实现会使用 attention mask）
• token 权重相同: 不同长度的回答得到相同重视。有时使用 length normalization：L = -1/|y| ∑ log p
• 自回归解码: 每个 token 的预测只能依赖前面的 token
• 单轮次学习: 通常一条 SFT 数据用一次，虽然高质量数据可以 epoch 重复

LIMA: 数据质量的突破性发现

启示: 1 条顶级数据 > 100 条平庸数据。SFT 的瓶颈是数据质量，不是数量。

数据格式与多轮对话

3. 奖励模型 (Reward Model, RM)

SFT 告诉模型"做什么样的回答"，但人类偏好是复杂的、多维度的。奖励模型用来预测人类对不同回答的偏好程度，从而提供更精细的优化信号。

RM 的定义与输入输出

输入形式：

• x: 用户 prompt
• y: 模型生成的 response（完整序列）
• 输出: 单个标量分数，表示这个回答有多"好"

Bradley-Terry Model — RM 训练的理论基础

RM 不直接学习绝对分数，而是学习偏好排序。给定两个 response y_w（胜者）和 y_l（败者），Bradley-Terry 模型定义：

其中 σ 是 sigmoid 函数。直观理解：两个回答的奖励差越大，选择 y_w 的概率越高。

RM 训练损失

等价于二分类交叉熵，其中标签是"y_w 更好"。

RM 的实现细节

• 初始化: 通常从 SFT 模型初始化（而不是随机初始化）
• 修改架构: 去掉 LM head（语言建模头），加一个 scalar regression head
• RM 大小: 通常与 policy 模型相同或更小（例如都是 7B）
• 训练数据来源: 人类标注员对模型生成的多个候选 response 进行排名
• 数据格式: 通常是对(x, [y_1, y_2, ..., y_k], ranking)，然后转换为 pairwise comparisons

4. RLHF (PPO) 详解 — 核心算法

RLHF 的核心是用强化学习来优化 policy，使其最大化奖励模型的评分，同时保持与原始 SFT 模型的接近性（通过 KL 散度约束）。

RLHF 的目标函数

其中：

• r(x, y): 奖励模型对 (x, y) 的评分
• π_θ: 当前的 policy 模型（训练中）
• π_ref: 参考模型，通常是 SFT 模型（冻结）
• β: KL 散度的权重（通常 0.1~0.5）
• KL 项的作用: 防止 policy 太快偏离 SFT，避免奖励模型外推错误

PPO (Proximal Policy Optimization) — LLM 中的标准算法

OpenAI 选择了 PPO 而不是其他 RL 算法（如 A3C、TRPO）。PPO 的设计目标是简单、稳定、样本高效。

PPO 的核心概念

概率比 (Probability Ratio)

r_t 衡量新旧策略对同一动作的概率差异。如果 r_t > 1，说明新策略更倾向采取该动作。

优势函数 (Advantage Function)

优势衡量该动作相对于平均的"好程度"。

PPO 的 Clipped Objective

关键创新：

• clip 函数: 将 r_t 限制在 [1-ε, 1+ε] 范围内，ε 通常是 0.1 或 0.2
• 两项的 min: 取无 clip 和有 clip 版本的较小值
• 作用: 防止策略更新步长过大。如果 A_t > 0（好的动作），r_t 会尽量增大但不超过 1+ε；如果 A_t < 0（坏的动作），r_t 会尽量减小但不低于 1-ε

LLM 中的 RLHF 实现

四个模型架构

RLHF 训练同时需要维护 4 个不同的模型：

内存需求

RLHF 的完整流程

关键参数与超参数

5. DPO (Direct Preference Optimization)

2023 年 Stanford 的论文提出了一个激进的想法：为什么不绕过奖励模型，直接从偏好数据中优化 policy？

DPO 的数学推导

关键发现：存在一个解析解，将最优奖励表示为 policy 的对数概率比：

其中 Z(x) 是与 prompt 相关的归一化常数。因此：

直观理解：

• 对于偏好的回答 y_w，鼓励 log π_θ(y_w|x) 增大
• 对于不偏好的回答 y_l，鼓励 log π_θ(y_l|x) 减小
• 所有更新都相对于 π_ref 进行

DPO vs RLHF 的关键对比

DPO 的优劣

6. GRPO (Group Relative Policy Optimization) — DeepSeek R1 的方法

DeepSeek-R1 在 2024 年提出了 GRPO，目标是进一步简化 RLHF，并让模型学会"思考过程"。

GRPO 的核心创新

核心观察：不需要训练一个显式的价值函数 (Value Model, Critic)。可以从同一 prompt 的多个采样结果中估计优势。

GRPO 的训练流程

组内优势估计

对每个 prompt x，采样 G 个 response y_1, y_2, ..., y_G

其中 ε 是小的稳定常数（防止除零）。

直观理解：

• 中心化：减去平均 reward，使得优势相对化
• 标准化：除以标准差，使优势具有可比性
• 效果：在同一组样本内，好的回答获得正优势，差的获得负优势

GRPO 的目标函数

与 PPO 相同的 clipped objective，但：

• 无显式 Critic: 价值由组内平均估计
• 内存节省: 不需要维护 V_θ 模型，约减少 25% 内存
• 采样效率: 一个 prompt 的多个响应共享计算，提高效率

GRPO 与 RLHF/DPO 的比较

7. 其他对齐方法

除了上述三种主流方法，学术界还提出了多种改进或替代方案，各有特点。

ORPO (Odds Ratio Preference Optimization)

主要特点：不需要 Reference Model

工作流程：

• 在 SFT 的基础上，直接加入偏好信号
• 好的回答 y_w 的概率应高于坏的回答 y_l
• 不需要维护 π_ref，节省内存
• 训练更简单，超参数更少

KTO (Kahneman-Tversky Optimization)

基于 Prospect Theory（前景理论），不需要成对标注。

数据格式：(prompt, response, label) where label ∈ {good, bad}

IPO (Identity Preference Optimization)

DPO 的改进版本，解决 DPO 的过拟合问题。

• 修改 DPO 的损失函数，添加正则项
• 在验证集上表现更稳定
• 理论上有更好的收敛保证

SPIN (Self-Play Fine-Tuning)

创新点：让模型与自己的早期版本对弈。

拒绝采样 (Rejection Sampling)

简单但有效的方法：

1. 用当前模型采样 N 个回答
2. 用奖励模型评分，选择分数最高的
3. 将这个回答加入 SFT 数据集重新训练
4. 重复上述过程

优点：完全离线，不需要 RL 训练。缺点：采样效率可能低，N 需要很大才能找到高质量样本。

所有方法对比表

8. Constitutional AI (Anthropic) — AI 反馈驱动的对齐

传统 RLHF 完全依赖人类标注员。Constitutional AI 的创新是用 AI 本身提供反馈，大幅降低标注成本。

Constitutional AI 的两阶段流程

阶段 1：Critique（评论）

给定一个模型生成的有问题的回答，让同一模型根据一套原则来评论其问题：

阶段 2：Revision（修改）

模型根据 critique 自我改进，生成改进后的回答：

最终训练数据：(prompt, revised_response) 对，进行 SFT。

RLAIF (Reinforcement Learning from AI Feedback)

Constitutional AI 后续发展：

• 用 AI 提供的偏好比较代替人类标注
• 模型 A 和模型 B 各生成一个回答，让更强的模型评断哪个更好
• 生成偏好对，进行 RLHF/DPO 训练
• 大幅降低人类标注成本（从 100% 减至 1-2%）

Constitutional AI 的工作流程图

9. Reward Hacking 与对齐挑战

当我们优化一个度量时，模型往往会找到意想不到的方式来"作弊"，这被称为 Reward Hacking。

Reward Hacking 的具体例子

Goodhart's Law — 对齐的基本困境

含义：

• 我们设计的任何度量（奖励函数）都只是人类意图的代理（proxy）
• 一旦模型开始优化这个代理，它会偏离原始目的
• 没有完美的度量，只有不同程度的欠完备性

缓解 Reward Hacking 的方案

1. KL 约束（我们已讨论）

防止 policy 太快偏离参考模型。但有其局限性：

• KL 是分布层面的约束，无法捕捉细粒度的坏行为
• β 的选择是难题：太大失去对齐效果，太小无法防止 hacking

2. 定期更新奖励模型

随着 policy 的更新，定期重新训练 RM：

• 收集新的人类偏好数据（针对当前模型）
• 重新训练 RM，使其能评估新的 policy 生成的内容
• 缺点：昂贵，且有滞后性

3. 多维度评估

不依赖单一奖励函数，而是多个评估维度：

• Helpfulness (有用性)
• Honesty (真实性) — 用事实检验
• Harmlessness (安全性) — 对抗性评估
• Coherence (连贯性) — 逻辑检查

最终的"奖励"是这些维度的加权组合，难度更高但更稳健。

4. 可扩展监督 (Scalable Oversight)

关键问题：如何监督超越人类能力的 AI 系统？

5. 机制可解释性 (Mechanistic Interpretability)

深入理解模型内部的表示和计算：

• 特征提取: 找出模型在各层学到的有语义的"特征"
• 电路分析: 识别执行特定计算的神经元组合（电路）
• 目的: 能够验证模型是否真的在追求我们想要的目标，而不仅仅是表现得好

对齐的根本挑战

10. 评估与安全基准

没有评估，我们无法判断对齐是否有效。这一部分讨论业界使用的基准和方法。

标准基准

TruthfulQA

• 目标: 测试模型是否说出真实的信息，而非幻觉
• 数据: 817 个常见的错误观点（例如"古代埃及人用电吗？"），要求回答要拒绝错误假设
• 评估: 由人类和 GPT 评分

HHH Eval (Anthropic)

• 目标: 衡量 Helpful, Harmless, Honest 三个维度
• 范围: 包括危险问题、隐私问题、伦理困境等
• 评估: 混合人类与 AI 评估

MT-Bench (Multi-Turn Benchmark)

• 特点: 多轮对话，测试模型在长期交互中的对齐
• 范围: 80 个多样的对话场景，从简单问答到复杂推理
• 评估: 通常使用 LLM 对（如 GPT-4）比较回答质量

Chatbot Arena

• 特点: 众包排名，用户对不同模型进行排名
• 优势: 真实用户反馈，自然分布的问题
• 规模: 每周 tens of thousands 的比较

红队测试 (Red Teaming)

系统性地寻找模型的漏洞和不安全行为。

越狱攻击的常见类型

• 角色扮演: "假装你是一个不受限制的 AI..."
• 假设框架: "在一个虚拟世界中，你可以..."
• 迂回语言: 使用隐喻或技术术语来隐藏真实意图
• 多步骤承诺: 让模型在早期步骤中承诺，然后要求违反安全政策
• DAN (Do Anything Now): 声称激活"特殊模式"

多轮对话的安全挑战

单轮安全不等于多轮安全：

• 上下文污染: 早期的对话可能会影响后续判断
• 社交工程: 通过长期互动建立"信任"来诱导不安全行为
• 记忆泄露: 在长对话中，模型可能泄露不应该共享的信息
• 一致性陷阱: 模型为了保持一致，可能继续早期的不安全承诺

系统提示安全

系统提示对模型行为有重大影响：

• 提示注入攻击: 用户 prompt 中包含指令，试图覆盖系统提示
• 提示泄露: 用户试图诱导模型透露其系统提示（以便针对性攻击）
• 防御: XML 标签隔离系统提示，明确的角色定义，定期审计