开源项目CrowdTensor：支持多台闲置GPU接力训练大模型

CrowdTensor是一个新上线的开源志愿模型训练协议，旨在通过整合开发者的闲置算力来共同训练人工智能模型。该项目采用分布式协作模式，每台参与计算的机器只需领取一个有边界的低秩微调工作单元进行运算，完成后向系统提交权重差分数据。若设备中途离线，中央协调器会保留已通过验证的模型检查点，之后由接入的其他设备接力完成剩余的训练任务。目前，该团队已经成功进行了一次概念验证测试：利用两组旧的服务器在通义千问2.5七十亿参数模型与数学推理数据集上运行了二百五十六步训练。当运行到第一百二十八步时，原始计算节点被全部强制断开，随后由两组全新的运行实例从中央检查点恢复状态，顺利完成了剩余的训练流程。现阶段，项目网站上正在开展一项基于轻量级语言模型与维基文本数据集的创始训练活动。团队表示，该协议目前处于受控工程测试阶段，尚未接入无需许可的去中心化网络，暂不具备防御模型投毒或抵御女巫攻击的安全机制，也不提供生产环境下的服务级别协议保障。项目方现正招募愿意参与测试的开发者，协助完成单个工作单元的试运行、审阅七十亿参数模型的技术设计文档，或对项目的安全边界进行工程评估。

事件分析

💡 核心观点：通过边缘算力接力完成低秩微调，该开源协议为打破大模型训练算力垄断提供了高潜力的社区级创新解法。