DatBench：革新VLM评估的精准高效工具

实证评估是指导基础模型研究进步的主要指南。尽管大量工作专注于训练前沿视觉语言模型（VLMs），但评估方法仍处于早期阶段。为引导其成熟，研究者提出评估应满足三个关键标准：忠实性（对模态和应用）、可区分性（区分不同质量模型）和效率（计算效率）。通过分析，他们识别出当前评估的严重缺陷：多项选择题奖励猜测且无法反映真实应用；高达70%的问题无需图像即可解答；42%的样本存在标签错误或模糊。这些问题严重误导模型能力的评估，DatBench旨在提供更精准高效的评估工具，推动AI模型研究健康发展。