NVFP4量化技术突破：利用4位浮点数解决大模型强化训练的稳定性难题

本文详细阐述了AI研究机构 humans& ai 与 NVIDIA、RadixArk 合作，如何通过一系列技术创新，首次在开源领域实现了稳定的 NVFP4（4位浮点）格式强化学习（RL）训练。RL训练是提升AI Agent智能水平的关键，但其计算成本极高。虽然 NVFP4 能在 NVIDIA Rubin 等 GPU 上提供高达 9 倍的计算吞吐量，但低精度带来的量化噪声极易导致策略漂移和训练崩溃。为了平衡效率与稳定性，研究团队提出了一套全新的训练配方。首先，针对激活值采用逐 token 缩放，解决了传统全局缩放导致的未来信息泄露问题；其次，提出了“去量化反向传播”技术，修正了前向与反向传播数学定义不一致导致的梯度尖峰，确保了梯度的准确性；再次，引入“4/6 自适应缩放”技术，将最大量化误差从 1/6 降低至 1/8，并创新性地将其应用于权重；最后，保留 15% 的末端层和共享专家为 BF16 高精度。基于 Qwen3-30B-A3B 模型的实验证明，该方法在大幅提升训练吞吐量的同时，其梯度范数和奖励曲线与高精度基准保持一致，未出现发散现象。相关代码已通过 TransformerEngine、FlashInfer 和 SGLang 开源，支持在线 NVFP4 模型部署。

事件分析

💡 核心观点：NVFP4量化通过修正反向传播误差并引入自适应缩放，成功将低精度计算引入大模型强化训练，显著降低了AI Agent进化的算力门槛。