SimpleQA 是一项专注于知识问答能力的基准测试,重点考察模型对冷门、边缘知识的掌握程度。该测试自2025年6月 Gemini 2.5 Pro 正式版发布以来,一直是谷歌 Gemini 系列模型的优势项目。进入 Gemini 3 时代后,谷歌在该榜单上形成了阶段性断档式领先,例如 Gemini 3 Flash 曾击败 Anthropic 的 Opus 4.5、Opus 4.6 以及 OpenAI 的 GPT-5.2、GPT-5.4 等多款竞品模型。这一领先局面在今年9月被 OpenAI 打破,其凭借 Astra 模型登顶 SimpleQA,这也是 OpenAI 自 GPT-4.5 时期之后首次重返该榜单首位,标志着两大巨头在知识问答能力上的竞争再度胶着。最新榜单显示,Gemini 4 在 SimpleQA 测试中击败 GPT-6-Astra,暂居榜首。至此,SimpleQA 榜首在谷歌与 OpenAI 之间几度易主,反映出双方在长尾知识召回、事实性问答等基础能力上持续投入,也侧面体现了大模型厂商在减少幻觉、扩大知识覆盖面上的技术角逐仍在深化。
事件分析
Gemini 与 OpenAI 在 SimpleQA 榜首的反复易主,本质上反映两家在长尾知识召回与事实性问答上的短兵相接。该基准对模型幻觉率极为敏感,登顶意味着知识压缩与检索能力达到更高水准,对搜索、企业知识库等落地场景有直接参考价值。值得注意的是,双方迭代节奏明显加快,从 Gemini 3 到 Gemini 4、从 Astra 到 GPT-6-Astra,版本更替间隔不断缩短,基准榜单的领先窗口期随之压缩。此外,SimpleQA 作为单一维度测试,头部模型差距缩小后区分度将下降,行业或需更具挑战性的评测体系来衡量真实能力差异。
核心观点:榜首几度易主表明知识问答已进入头部拉锯战,单一基准的区分度正随模型趋同而快速失效。
原文链接:Linux.do