云聚 AI Token Plan 满 199 减 35 元
port:80 AI Junkie
AI 重度玩家的工程笔记本

Qwen3.7-Plus SNSE Bench 测评:编译错误率居高不下,代码工程化能力待提升

云聚 AI Token Plan 满 199 减 35 元

科技社区 Linux.do 发布了关于 Qwen3.7-Plus 模型在 SNSE Bench 基准测试中的最新评测数据。测试结果显示,该模型在推理行为上表现出与 DeepSeek-V4-Flash 类似的“过度思考”特征,但其症状相对较轻,仅在 T6 和 T7 两个测试题目的解题过程中出现了思维链长度超限的情况。然而,该模型在代码生成质量上暴露出了显著短板。评测报告明确指出,Qwen3.7-Plus 是当前所有受测模型中编译错误最严重的模型,其提交的十份代码样本中竟有四份无法通过编译。具体分析显示,模型在基础代码规范性上存在明显缺陷:在 T1 和 T12 题目中出现了头文件缺失的低级错误,而在 T3 和 T8 题目中,模型“自作聪明”地添加了几行 `#pragma` 指令,结果导致莫名其妙的编译失败。这一数据表明,尽管模型具备一定的推理深度,但在确保代码可编译、可运行的工程实用性方面仍有很大缺陷。

事件分析

此次评测揭示了当前大模型在代码生成领域面临的关键挑战,即“推理深度”与“工程准确性”之间的不平衡。Qwen3.7-Plus 虽然试图通过更长的思维链来模仿 DeepSeek 等先进模型的推理能力,但其产生的代码却包含大量语法和逻辑错误,如擅自添加编译器指令导致构建失败。这种现象反映出模型在训练时可能过度关注了代码逻辑的表面形式(如常见优化代码片段),却忽视了编程语言严格的语法约束和依赖管理。对于开发者而言,这表明在利用 AI 进行复杂编程任务时,必须保持警惕,不能盲目依赖模型的输出,特别是在涉及底层编译指令和系统级头文件的管理上。这也为未来模型优化指明了方向:提升代码生成的鲁棒性和可编译性,比单纯追求推理过程的复杂性更为紧迫。

💡 核心观点:AI编程模型不应止步于模拟推理的“聪明”,更需严守代码可编译的工程底线,否则过度思考只会沦为错误的叠加。

阿里云 OPC 一人公司创业装备库

原文链接:Linux.do

阿里云函数计算 一键部署 AI 大模型
赞(1)
未经允许不得转载:80aj » Qwen3.7-Plus SNSE Bench 测评:编译错误率居高不下,代码工程化能力待提升
赞助推荐 FreeModel.dev Claude Code 中转
阿里云函数计算 一键部署 AI 大模型