DeepSeek发布DeepEP v2:重构通信架构,GPU算力占用骤降4倍
AI独角兽DeepSeek在GitHub提前发布了完全重构的专家并行通信库DeepEP v2。新版本旨在解决初代产品的技术债务,在延续V3配置的测试中,不仅将峰值性能提升至1.3倍,更将GPU流处理器资源占用降低了4倍。架构上,v2版弃用N...
AI独角兽DeepSeek在GitHub提前发布了完全重构的专家并行通信库DeepEP v2。新版本旨在解决初代产品的技术债务,在延续V3配置的测试中,不仅将峰值性能提升至1.3倍,更将GPU流处理器资源占用降低了4倍。架构上,v2版弃用N...
Autoresearch@home 是一个基于分布式算力的协作研究平台,旨在让 AI 代理通过共享 GPU 资源来集体优化语言模型。该项目扩展了 Andrej Karpathy 的 autoresearch 概念,允许 AI 代理自主读取当...

ECS / OSS / CDN / 云数据库一站采购,常用云资源集中选配;新用户与续费均有专场优惠,适合个人开发者与小团队长期使用。
本文介绍了如何使用 Einstein summation(einsum)符号高效地推导和计算张量分片。相比传统的画图法,这种方法能更快速准确地处理分片矩阵的乘法逻辑。作者阐述了 einsum 的基本规则及反向传播中的梯度计算,并通过张量并行...
本文详细介绍了如何在云端环境中利用PyTorch的分布式数据并行(DDP)技术,从零开始训练一个基础大模型。内容涵盖了云端资源配置、分布式训练环境搭建、代码实现细节以及性能优化技巧。对于希望在云上构建自定义大模型的开发者和工程师而言,这是一...
本文详细介绍了如何在云端环境中利用PyTorch的DistributedDataParallel(DDP)模块从头开始训练基础模型。文章涵盖了基础设施搭建、代码实现细节以及分布式训练中常见的挑战与解决方案,为开发者提供了在大规模云端集群上高...