DeepMind发布DiLoCo新技术：突破网络瓶颈，实现弹性大规模分布式AI训练

DeepMind 推出了 Decoupled DiLoCo 算法，旨在解决大规模 AI 训练中常见的通信拥堵和硬件故障问题。该技术允许训练节点在本地独立计算更长时间，大幅减少同步频率，从而显著降低对高带宽、低延迟网络的依赖。这意味着开发者可以利用普通互联网连接进行跨地域的大模型训练，不再受限于昂贵的专用超算中心网络。此外，该架构具有极强的容错性，即使部分节点发生故障也不影响整体训练进程。这一创新有望降低 AI 基础设施的构建成本，提升全球分布式算力的利用效率。