跳到主要内容
赞助推荐 搬瓦工怎么选:三网直连 CN2 GIA-E
前沿哨所

鹈鹕骑车测试暴露大模型“多样性坍塌”:最强AI创造力仍落后人类27分

3 分钟阅读阅读()
赞助推荐 团队协作里的 AI 办公工作台

科技博客发布文章《皇帝的鹈鹕没穿衣服》,借助经典的“生成一只骑自行车的鹈鹕SVG”提示词测试,指出当前大模型存在鲜有人讨论的“多样性坍塌”问题。作者汇总近期多个主流模型在同一提示词下的输出,发现生成的鹈鹕骑车图像风格高度雷同,而人类完全可以创作出皇家巡游、极地之夜、沙漠、婚礼、月球等风格迥异的作品。文章素材来自 Simon Willison 的多次测试记录。

文章同时介绍了 Kombai 团队推出的 Design Creativity Bench 基准,用于量化评估AI在UI设计上的创造力。该基准评测了16个前沿模型在80个开放式UI任务上的表现,从原创性(与同题其他模型输出的差异度)、创意范围(跨产品领域的适应能力)、功能性(满足需求的能力)三个维度打分,并配备人类设计师参考答案。结果显示,表现最好的 OpenAI GPT-6 Astra 得分65.5,与人类参考值92.3相差约27分;GPT-6.1 Sol、Grok 4.7、Gemini 3.8 Flash 分列其后。团队已公开完整排行榜、方法论、论文与可复现评估框架,数据集和代码托管于 HuggingFace 与 GitHub。

赞助推荐 一人公司 · 创业装备库
赞助推荐 一人公司 · 创业装备库

事件分析

鹈鹕测试的本质是考察模型在低约束任务下的输出分布:面对几乎不限定的提示词,主流模型却收敛到雷同的构图、配色与元素组合,这通常与RLHF对齐压缩输出熵、偏好训练趋同以及训练数据分布偏斜有关。Design Creativity Bench 的价值在于把“创意”这一模糊概念拆解为原创性、跨领域适应性与功能恰当性三个可量化维度,为长期难以评测的能力提供了基准化路径。产业层面,若创意能力被纳入主流评测体系,厂商训练策略或将从单纯追求正确性转向兼顾输出多样性;人机设计能力差距的量化,也会影响AI设计工具的商业化定位。后续可关注该基准能否进入主流榜单,以及推理强度与输出多样性之间的权衡关系。

核心观点:对齐训练让模型更“正确”却牺牲了创意多样性,人类设计师27分的领先,正是大模型尚未跨越的想象力鸿沟。

原文链接:Hacker News

赞助推荐 一键部署 AI 大模型
赞助推荐 一键部署 AI 大模型
赞(0)
未经允许不得转载:80aj » 鹈鹕骑车测试暴露大模型“多样性坍塌”:最强AI创造力仍落后人类27分
赞助推荐 低成本上手 Claude Code 的中转选择
赞助推荐 低成本上手 Claude Code 的中转选择
赞助推荐 一键部署 AI 大模型
赞助推荐 一键部署 AI 大模型