社区质疑DeepSeek存在“背题”行为,或导致基准评分虚高
来自科技社区的用户观察指出,DeepSeek模型在应对特定逻辑推理题时,表现出明显的“背题”倾向。该模型似乎倾向于直接从记忆的题库中检索答案,而非进行逐步推理;若记忆答案本身错误,模型便难以自我修正。这种现象引发了关于AI模型评分机制的深层...
来自科技社区的用户观察指出,DeepSeek模型在应对特定逻辑推理题时,表现出明显的“背题”倾向。该模型似乎倾向于直接从记忆的题库中检索答案,而非进行逐步推理;若记忆答案本身错误,模型便难以自我修正。这种现象引发了关于AI模型评分机制的深层...
OpenAI 近日发布博文,宣布正式弃用 SWE-bench Verified 基准,揭露了当前 AI 编程评估体系的两大致命隐患。首先是严重的数据污染,由于测试题源自 GitHub 开源仓库,导致这些代码也被用于模型训练,使得 GPT-5...

ECS / OSS / CDN / 云数据库一站采购,常用云资源集中选配;新用户与续费均有专场优惠,适合个人开发者与小团队长期使用。
近日,有用户在使用谷歌Gemini生成视频时,发现画面右下角竟意外出现了字节跳动旗下AI产品“豆包”或其相关项目的特征性水印。这一“翻车”事件引发社区热议,暗示谷歌在模型训练过程中,可能混入了由竞争对手AI生成的合成数据。这不仅暴露了谷歌数...
近期发现Gemini、Claude、Kimi、DeepSeek等主流大模型在随机角色扮演中,均有极高概率生成“苏晚晴”这一特定名字。这一现象并非巧合,而是训练数据库污染及模型蒸馏过程中数据同质化的体现。该缺陷源于早期模型的数据偏差,并在后续...
当前AI模型训练面临数据污染的挑战,一位开发者正在寻找未被大型语言模型学习过的50页PDF素材,用于对比测试半开源项目pageindex与text-embedding-3-small的性能。pageindex项目通过LLM创建索引以提高召回...