Jevman是一个发布于Hacker News的Show HN项目，以经典街机游戏《吃豆人》为测试环境，邀请六个AI决策模型各自进行100场对局，与原版街机中的幽灵展开对抗，并形成模型排名。用户可以在平台上查看各模型的排行榜、观看对局回放，甚至亲自与这些AI模型对战。与传统静态基准测试不同，吃豆人这类游戏对AI提出了多维度要求：模型需要在动态变化的环境中实时决策，进行路径规划、资源收集与风险评估，同时还要预判幽灵的追逐行为并制定躲避策略。这种对抗性、不完全信息与实时性的组合，使其成为检验AI智能体决策能力的理想沙盒。该项目也反映出AI评测范式的新趋势：随着大模型在问答、代码生成等传统基准上的表现趋于饱和，研究者开始转向游戏等交互式环境，以更贴近真实场景的方式评估模型的推理与决策水平。从早期DeepMind用Atari游戏训练强化学习智能体，到如今用街机游戏横向对比多个前沿大模型，游戏环境始终扮演着AI能力试金石的角色。Jevman的公开可玩性设计，也降低了普通用户直观理解各模型能力差异的门槛。
事件分析
从技术角度看，吃豆人融合了实时决策、空间推理、对抗博弈与不确定性处理，恰好覆盖AI Agent在真实任务中所需的核心能力，比静态问答基准更能暴露模型短板。当前大模型评测普遍面临数据污染与跑分饱和问题，交互式游戏环境因对局随机性强、难以背题，正成为评测新方向。产业层面，这类可视化评测直接影响企业选型参考，游戏化呈现也让模型能力对比更直观透明。后续可能延伸至更复杂的游戏场景，甚至推动竞技场式动态评测成为主流范式，为智能体能力的标准化度量提供参照系。
核心观点：静态跑分已难辨模型高下，街机游戏的动态对抗环境正成为检验大模型真实决策能力的试金石。
原文链接：Hacker News
