AI研究核心争论：提升模型性能究竟是靠“堆参数”还是“堆算力”？

这篇文章源自2021年的关键讨论，深入分析了大型语言模型（LLM）训练中的核心权衡：在固定计算预算下，是应该增加模型参数量，还是增加训练步数和数据量？研究表明，单纯追求参数规模并非最优解，通过更长时间的计算和更多数据训练较小的模型，往往能获得更高的性价比和性能。这一发现重塑了AI研发的成本结构，促使行业从盲目追求“超大模型”转向对算力效率的极致优化。