第二部分：LLM微调技术详解

第6期 直接偏好优化(DPO)：轻量级人类偏好对齐技术

2.2 直接偏好优化(DPO)：轻量级人类偏好对齐技术

直接偏好优化(DPO, Direct Preference Optimization)是一种新兴的LLM微调技术，旨在以更简单、更高效的方式实现人类偏好对齐。相比传统的RLHF(基于人类反馈的强化学习)，DPO提供了更直接的优化路径，减少了复杂性和计算资源需求。本文将详细介绍DPO的工作原理、实现方法和实际应用。

DPO的基本原理

DPO的核心思想是直接从人类偏好数据中学习，而不需要显式地构建奖励模型或执行复杂的强化学习过程。它通过比较人类偏好的”好”响应和”差”响应，直接优化模型参数，使其更倾向于生成符合人类偏好的输出。

工作原理：

1. 收集人类偏好数据：为相同输入提供多个输出，并标记人类偏好的输出
2. 使用SFT模型作为初始模型
3. 构建偏好损失函数，直接优化模型以区分偏好和非偏好响应
4. 通过梯度下降更新模型参数
5. 保存优化后的模型

DPO相比RLHF的优势

DPO的数学基础

DPO的目标是优化模型，使其在给定输入的情况下，产生偏好输出的概率高于非偏好输出。其核心公式为：

ℒ_DPO(θ; θ_ref) = -E[(x, y_pref, y_rej) ~ D] [log σ(β log π_θ(y_pref|x) - β log π_θ(y_rej|x))]

其中：

• θ是当前模型参数
• θ_ref是参考模型参数(通常是SFT模型)
• β是温度参数，控制优化强度
• σ是sigmoid函数
• π_θ(y|x)是模型在输入x下生成输出y的概率

数据准备

DPO需要偏好比较数据，通常格式为三元组(x, y_pref, y_rej)：

• x：输入提示
• y_pref：人类偏好的响应
• y_rej：人类不偏好的响应

数据收集方法：

1. 人工标注：让标注员对模型输出进行排序或比较
2. 模型生成：使用不同参数生成多个输出，然后由人类选择
3. 组合方法：结合人工和模型生成的方法

数据质量要求：

• 偏好信号清晰明确
• 覆盖多样化的输入和场景
• 避免系统性偏见
• 确保标注一致性

DPO实现方法

使用Hugging Face TRL库

from transformers import AutoModelForCausalLM, AutoTokenizer
from trl import DPOTrainer, DPOConfig
import torch
# 加载模型和分词器model_name = "mistralai/Mistral-7B-v0.1"base_model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)
# 配置DPOdpo_config = DPOConfig(
    learning_rate=5e-7,
    num_train_epochs=3,
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    beta=0.1,  # 温度参数    logging_steps=10,
    output_dir="./dpo_results",
    fp16=True,
)
# 创建DPO Trainerdpo_trainer = DPOTrainer(
    model=base_model,
    ref_model=None,  # 如果不提供，将从base_model克隆    args=dpo_config,
    train_dataset=preference_dataset,
    tokenizer=tokenizer,
    max_length=1024,
    max_prompt_length=512,
)
# 开始训练dpo_trainer.train()
# 保存模型dpo_trainer.save_model("./dpo_finetuned_model")