火山引擎开源Verl框架，加速大模型强化学习训练

火山引擎Verl是一个由字节跳动种子团队发起并维护的开源强化学习训练库，专为大型语言模型(LLM)设计。该库采用灵活的混合控制器编程模型，支持PPO、GRPO等多种RL算法，并与FSDP、Megatron-LM、vLLM等主流LLM框架无缝集成。Verl具有最先进的吞吐量，通过3D-HybridEngine技术实现高效的actor模型resharding，支持高达671B参数模型的训练。实际应用中，Verl已成功用于训练DeepSeek-671B、Qwen3-235B等大型MoE模型，DAPO算法基于Verl在AIME 2024基准测试中取得突破性成绩，豆包-1.5-pro模型也通过Verl训练达到OpenAI O1级性能。作为AI领域的前沿技术，Verl已被字节跳动、阿里巴巴Qwen团队、上海AI实验室、清华大学等众多知名机构采用，为LLM强化学习训练提供了高效、灵活的生产级解决方案。