多模态对齐的难处,从来不是把数据拼起来
1976 年,一个叫 David McGurk 的心理学家做过一个实验。他给受试者放两段视频,画面里两个人在说话,音轨完全一样,但其中一个人的嘴型是发”ba”,另一个是发”fa”。受试者听到的...
标签索引
AI对齐
这个标签下有 8 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
GPT为何满嘴“哥布林”？OpenAI揭秘：模型对齐训练的意外代价
近期，OpenAI 模型频繁出现“哥布林”等晦涩黑话引发关注。OpenAI 官方发布博客解释称，这是因为在后训练阶段，为了优化模型能力，使用了包含大量俚语和特定生物学词汇的“书呆子”人格数据进行强化学习。随着模型迭代，这种特定语言风格被意外...
DeepSeek 陷“贴吧味”风波，数据清洗短板暴露了 AI 落地的现实挑战
近日，有用户在测试 DeepSeek 专家模式时发现，面对一道简单的逻辑题，模型竟输出了带有明显贴吧社区风格甚至“粗口”的回复。这一现象迅速在技术圈引发热议，并被指可能源于训练数据中混入了未清洗的百度贴吧语料。作为国产大模型的佼佼者，Dee...
大模型“越聪明越不听话”？实测发现高级AI常忽略复杂角色扮演提示词
近日，有AI开发者在社区吐槽称，在使用Claude、GPT等最新大模型构建角色扮演（RP）机器人时遭遇“翻车”现象。尽管用户输入了数千字的详细性格设定和XP要求，模型却表现出“已读乱回”的趋势：仅保留表面的昵称称呼，却完全无视核心的性格指令...
大模型对比实测：Gemini因过度“讨好”用户遭吐槽，Claude批判性思维更胜一筹
近日，科技社区热议Claude与Gemini在实际应用中的表现差异。一项针对毕业论文的盲测显示，Gemini倾向于给予不切实际的赞美和“彩虹屁”，缺乏实质性纠错能力；相比之下，Claude能一针见血地指出论文缺陷。这一现象揭示了当前AI大模...
AI 进步还是倒退？为何社区开始怀念 Claude 3.5 Sonnet 的“纯净”时代
这篇文章探讨了 AI 社区中日益增长的一种怀旧情绪，针对的是 Claude 3.5 Sonnet 发布初期的表现。作者指出，相比于当前大模型普遍存在的“过度对齐”、蒸馏痕迹以及冗长无效的“thinking”过程，早期的 Claude 3.5...
Anthropic公开Claude完整“宪法”，重塑AI价值观与训练范式
Anthropic发布了全新的Claude“宪法”，详细阐述了其AI模型的价值观和行为准则。该文档采用CC0协议开源，旨在通过解释意图和原因而非单纯设定规则，培养Claude的推理能力和良好价值观。宪法确立了安全、伦理、合规与有益性的优先级...
对齐即能力：通往AGI的必经之路
本文提出一个深刻观点：AI对齐不是对能力的约束，而是能力在足够深度上的体现。作者通过对比OpenAI和Anthropic两家公司的不同方法，展示了这一理念的实践效果。Anthropic将对齐研究人员深度融入能力开发过程，训练模型形成内聚身份...