Closing Keynote 这场分享来自 AI Engineer World’s Fair 2026 Day 2 主舞台，讲者是 Wei-Lin Chiang。本文只整理会议内容和分享脉络，不做个人使用心得。
原视频：https://www.youtube.com/watch?v=4sX_He5c4sI（约 08:26:10 开始）
分享内容
Wei-Lin Chiang 从 Arena 的角度分享 real-world agent evals。他的背景是 UC Berkeley 的 AI eval 研究，重点是把稳健、可扩展的评估方法带到真实环境里，而不是只停在离线 benchmark。
这场和前面的 Artificial Analysis 形成一组。Artificial Analysis 更关注模型能力和成本曲线，Arena 更关注 agent 在真实任务里的行为。对 agent 来说，单题回答正确只是起点，更难的是长轨迹、工具调用、环境探索和任务完成。
字幕里提到，agent 会像人一样探索环境：搜索 Slack，查看图片，读取文件，写文件，做临时分析，再把这些内容汇总成结果。这样的任务不能只看最终答案，因为答案背后有一条很长的行动轨迹。
轨迹评估还要看成本。每一次 tool call 都会产生输出 token，后面的输出又会进入下一轮输入。长任务里，错误探索和重复操作会让成本快速变大。一个 agent 看似完成任务，但如果花了过多步骤，真实价值可能很低。
分享结构
这场分享的结构比较清楚：先用 Closing Keynote 的问题背景引入，再把重点落到 Autoresearch 这条主线。讲者不是只给一个结论，而是把问题、机制、案例和边界分开讲，方便听众判断这个方向能不能进入真实系统。
按内容顺序看，第一层是背景：Wei-Lin Chiang 从 Arena 的角度分享 real-world agent evals。他的背景是 UC Berkeley 的 AI eval 研究，重点是把稳健、可扩展的评估方法带到真实环境里，而不是只停在离线 benchmark。 第二层是方法或案例：这场和前面的 Artificial Analysis 形成一组。Artificial Analysis 更关注模型能力和成本曲线，Arena 更关注 agent 在真实任务里的行为。对 agent 来说，单题回答正确只是起点，更难的是长轨迹、工具调用、环境探索和任务完成。 这两层决定了这场分享不是单纯概念介绍，而是在解释为什么这个问题现在变得重要。
第三层是工程约束：字幕里提到，agent 会像人一样探索环境：搜索 Slack，查看图片，读取文件，写文件，做临时分析，再把这些内容汇总成结果。这样的任务不能只看最终答案，因为答案背后有一条很长的行动轨迹。 这部分通常是会议分享里最值得保留的内容，因为它说明方案不是靠一句口号成立，而是靠具体环境、指标、记忆、验证或工具链支撑。
关键细节集中在后半段：轨迹评估还要看成本。每一次 tool call 都会产生输出 token，后面的输出又会进入下一轮输入。长任务里，错误探索和重复操作会让成本快速变大。一个 agent 看似完成任务，但如果花了过多步骤，真实价值可能很低。 这段把分享从背景介绍推进到可检查的技术抓手，也解释了为什么它会被放进 Day 2 的主舞台议程。
会议脉络
Arena 这场把 Day 2 的 eval 主题拉到收尾。前面讲了生成候选、优化 prompt、记忆、实验 trace、性能搜索，最后仍然需要一个评估系统判断 agent 有没有正确探索、有没有浪费、有没有在失败后恢复。
真实世界 eval 和静态 benchmark 的差异在于，环境会变化，工具会失败，信息会不完整。agent 的能力不是只体现在知道答案，而是体现在它怎样收集信息、怎样确认假设、怎样避免无意义动作。
这场分享的核心内容，是下一代 agent eval 要从结果分数变成轨迹审计。答案只是末端，过程同样重要。能解释路径、成本、失败边界和恢复能力的 eval，才有资格给 agent 更大的权限。
来源说明
本文依据官方日程、YouTube 自动英文字幕和视频时间线整理。长直播中存在等待音乐、主持人口播和少量插播内容，正文只保留对应主舞台分享的有效信息。
