DeepSeek发布DeepEP v2：重构通信架构，GPU算力占用骤降4倍
AI独角兽DeepSeek在GitHub提前发布了完全重构的专家并行通信库DeepEP v2。新版本旨在解决初代产品的技术债务，在延续V3配置的测试中，不仅将峰值性能提升至1.3倍，更将GPU流处理器资源占用降低了4倍。架构上，v2版弃用N...
标签索引
分布式训练
这个标签下有 5 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
复刻SETI@home：Autoresearch@home让AI代理共享GPU进行分布式模型训练
Autoresearch@home 是一个基于分布式算力的协作研究平台，旨在让 AI 代理通过共享 GPU 资源来集体优化语言模型。该项目扩展了 Andrej Karpathy 的 autoresearch 概念，允许 AI 代理自主读取当...
用Einsum推导张量分片逻辑，提升分布式训练效率
本文介绍了如何使用 Einstein summation（einsum）符号高效地推导和计算张量分片。相比传统的画图法，这种方法能更快速准确地处理分片矩阵的乘法逻辑。作者阐述了 einsum 的基本规则及反向传播中的梯度计算，并通过张量并行...
技术指南：利用分布式数据并行在云端从零训练基础模型
本文详细介绍了如何在云端环境中利用PyTorch的分布式数据并行（DDP）技术，从零开始训练一个基础大模型。内容涵盖了云端资源配置、分布式训练环境搭建、代码实现细节以及性能优化技巧。对于希望在云上构建自定义大模型的开发者和工程师而言，这是一...
云端实战：利用DDP技术从头训练大模型
本文详细介绍了如何在云端环境中利用PyTorch的DistributedDataParallel（DDP）模块从头开始训练基础模型。文章涵盖了基础设施搭建、代码实现细节以及分布式训练中常见的挑战与解决方案，为开发者提供了在大规模云端集群上高...