vLLM

vLLM完成V1引擎迁移，DeepSeek推理速度突破2.2k tok/s

vLLM团队宣布完成向V1引擎的全面迁移，通过集成Wide-EP、双批次重叠（DBO）及专家并行负载均衡（EPLB）等优化，在H200集群上实现每GPU 2.2k tokens/s的吞吐量。这一显著性能提升解决了DeepSeek等稀疏MoE...