一位开发者在V2EX分享了自己制作的LLM/Agent评测基准浏览器项目，旨在解决为Agent挑选benchmark时需要在论文、代码仓库和数据集页面之间反复切换的问题。该项目名为LLM Benchmark Costco，目前收录了610个LLM和Agent评测基准。用户可按能力类别、年份、开放程度等条件筛选候选基准，查看中英文介绍以及论文和官方项目入口。工具的核心特色是用流程图分别展示数据构建和运行评测的完整过程，可展开查看分支、循环和各阶段说明，帮助使用者理解任务来源、Agent可见信息、可用工具及成功判定标准。以AutomationBench为例，打开构建流程页面即可看到跨应用任务、工具调用和终态评分的关联方式。整理后的说明还区分了公开任务、本地成绩和官方私有榜单的适用范围。该网页无需注册即可使用，定位为基准检索和协议理解工具；作者提示真正复现时仍应回到对应版本的原论文、数据和官方实现。作者承认内容可能存在遗漏或理解偏差，欢迎用户指出具体条目和来源位置，并邀请从事LLM/Agent评测的开发者以真实需求试用，反馈评测任务、查看条目及卡点信息。
事件分析
评测基准碎片化是Agent开发中的普遍痛点，基准信息散落在论文、代码仓库和数据集平台之间，缺乏统一的协议描述标准。该项目将数据构建与评分流程以流程图形式结构化呈现，本质上是在做基准元数据的标准化整理，此类工作此前多由社区以表格或文档形式零散维护。随着Agent应用落地加速，评测体系的重要性持续上升，Stanford HELM、Hugging Face等机构也推出过基准聚合平台，但多数侧重榜单排名而非协议细节。该工具将构建流程、观测空间与判定标准作为核心展示维度，切中了复现者的实际需求。后续走向可能取决于社区维护机制能否建立，基准数量增长与人工整理成本之间的矛盾能否解决，以及能否与主流自动化评测框架打通，这些因素将决定其长期价值。
核心观点：Agent开发进入深水区后，评测基准的结构化整理正成为比榜单排名更稀缺的隐性基础设施。
原文链接：V2EX 分享发现
