Q Labs 推出 NanoGPT Slowrun：利用无限算力突破数据瓶颈，效率提升 5.5 倍

Q Labs 发布“NanoGPT Slowrun”项目，旨在解决 AI 发展中算力增长远超数据增长导致的瓶颈。该项目反常规地限制数据量（100M tokens）但允许使用无限算力，探索极致的数据效率。结果显示，通过引入 Muon 优化器、多轮训练、激进正则化及模型集成等技术，其数据效率已达到标准基线的 5.5 倍。这一挑战“缩放定律”的实验表明，在不增加数据的情况下，单纯通过优化算法和堆砌算力，有望在机器人、生物学等数据匮乏领域实现模型能力的飞跃。