针对大量免费渠道和魔改模型缺乏公开跑分、官方排行榜查不到、宣传数字对不上的问题,Linux.do 社区一位用户单机自建环境,对四个可免费使用的模型进行了代码生成能力横向评测。参评模型包括 mossai-nex-n2.6(GLM-5.3-flash 后训练魔改版)、opencodezen-deepseekv4.1f-free、opencodezen-hy4flash-free,以及 devin-swe-2-medium(Windsurf 免费档,Kimi3 后训练模型)。评测弃用区分度不足的 HumanEval,选用 EvalPlus(HumanEval+ Mini),其将测试用例扩充约 80 倍,可排除碰巧通过的投机解,Mini 子集速度快且不易被训练数据污染。评测共 164 题、greedy 解码、按 pass@1 计分。为规避执行不可信代码的安全风险,作者采用两阶段方法:宿主机仅调用 API 生成代码文本,判题则放入 Docker 沙箱中的 EvalPlus 官方镜像执行,容器内不联网。结果显示:nex-n2.6 综合最强,plus 分 0.939,base 到 plus 仅下降 3.7 个百分点,代码健壮性最好,但推理慢、token 消耗大;hy4flash 分数第二,提供 1M 上下文,延迟适中且全程零故障,被视为性价比之王;deepseekv4.1f 吞吐最高,生成速度约 90 token/秒,准确率第三;swe-2 明显垫底,base 分仅 0.768。作者同时说明局限:单机单次小样本、免费渠道存在波动、仅覆盖 Python 函数级生成,未测仓库级 SWE-bench 和多语言。
事件分析
核心观点:社区自建评测正在填补官方榜单的空白,base 与 plus 的分差比绝对分数更能暴露模型代码的真实健壮性。
原文链接:Linux.do