大模型遭遇“能力高原”?数据显示编程能力已停滞超一年
文章基于METR数据质疑LLM的实际进步,指出虽然模型通过测试的能力在提升,但以“代码可合并率”为衡量标准时,自2025年初以来其编程能力几乎没有改善。通过Brier分数分析表明,描述为“恒定不变”的模型比线性增长更符合实际数据。作者警示,...
标签索引
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
文章基于METR数据质疑LLM的实际进步,指出虽然模型通过测试的能力在提升,但以“代码可合并率”为衡量标准时,自2025年初以来其编程能力几乎没有改善。通过Brier分数分析表明,描述为“恒定不变”的模型比线性增长更符合实际数据。作者警示,...