paper: https://arxiv.org/abs/2305.18290

为什么要有DPO

在大模型应用中，一般在sft训练完之后，会再进行强化训练，让大模型的数据更加如何人的偏好。其中，RLH F是最耳熟能详的强化学习方法。但RLHF主要存在以下两个问题：

• 训练成本高：RLHF训练过程中，除了本身需要优化的π_θ，还需要有用于参考的π_ref，以及reward_model，value_model等

• 训练不稳定：RLHF训练过程中，容易训崩，在调参的时候需要非常小心。

而DPO方法则只需要π_θ和π_ref，并且训练过程也更加稳定。以下是RLHF和DPO方法的流程对比：

下面从几个不同维度对RLHF和DPO进行对比：

相对来说，RLHF的天花板更高，但是由于起训练难度和成本较高，在很多有明确偏好信息的场景下（比如对话中，回复好与坏），还是使用DPO会更方便一些。

DPO如何对模型进行优化

DPO优化方法，核心就是其Loss函数：

接下来看一下这个Loss函数如何推导得到。

首先，我们看一下RLHF中的优化目标如下：

其中：

• E[r]部分：是奖励值，用于奖励模型生成更好的回复

• D_KL部分：是约束项，是用于避免嘴中优化好的π_θ与原来最初的π_ref相差太大。相差太大可能会导致幻觉或灾难性遗忘等问题。

在DPO中，引入了一个Bradley-Terry偏好模型，用于刻画偏好数据（y_w, y_l）中，y_w比y_l更好的概率，如下：

其中：

• y_w：w，即win，偏好数据中标注更好的数据
• y_l: l，即loss，偏好数据中标注更好的数据
• r*函数：奖励函数给出的奖励值

这个公式上下都除以exp(r*(x, y_w))，那么就可以转换成如下：

σ为sigmoid函数。

那么，如果我们想要训练一个奖励函数的话，那么我们希望这个奖励函数要保证上面这个公式的结果越大越好，因此，经过最大似然估计，我们可以得到最大似然损失函数：

DPO的缺点

• 从Loss函数上可以看到，DPO只是关注y_w和y_l在差值，但是没有对y_w本身进行打分，那么有可能y_w本身也不怎么痒，只不过y_l更差，属于矮子里面拔将军。
• DPO训练，需要y_w和y_l构成pair数据。但是pair数据其实不太好收集，互联网中更多的是通过点赞👍或点踩👎得到的point数据