LLM 如何学会有用：RLHF 与 DPO 对比

大语言模型通过 RLHF 和 DPO 两种方法学习人类偏好，以超越单纯的指令遵循。RLHF 先训练奖励模型再通过强化学习优化策略，DPO 则直接利用偏好对优化模型参数。两者目标一致但实现路径不同，DPO 因无需单独奖励模型而更简洁高效。