技术硬核｜一文读懂LLM强化学习：从传统RL到RLHF的技术映射

本文旨在解决将传统强化学习（RL）概念应用于大语言模型（LLM）时的认知断层。作者指出，LLM中的RLHF本质上是一种特殊的序列生成RL，其“状态”是上下文，“动作”是选择下一个Token，“策略”即模型本身。文章详细对比了传统RL与LLM中奖励机制的差异：前者是密集的即时反馈，后者则是依赖Reward Model的稀疏序列级打分。此外，文中还通过拆解PPO与GRPO算法，阐述了如何通过相对奖励优化减少模型偏差。这篇文章为理解大模型如何对齐人类意图提供了清晰的技术视角。