据Hacker News报道,一项针对AI回答一致性的测试引发广泛讨论:测试者将完全相同的210个购物类问题连续两天提交给AI,结果发现84%的答案在两次提问之间发生了改变。这些变化并非仅停留在措辞层面,而是涉及推荐产品、推荐理由乃至最终结论的实质性分歧,意味着用户在不同时间咨询同一问题,可能得到方向完全相反的购买建议。测试揭示了大模型输出非确定性的普遍程度:受采样随机性、模型版本静默更新、检索内容变化等因素影响,即使提问一字不差,模型的回答也可能出现大幅漂移。该结果对AI充当消费决策助手的可靠性提出直接质疑,当答案频繁变动时,用户无从判断哪一次回答值得采信。这一现象也与近期业界关于’模型行为漂移’的讨论相呼应,即模型服务商在未作声明的情况下迭代模型,导致相同提示词在不同时间产生差异显著的输出,进而影响依赖模型输出的应用稳定性与用户体验。
事件分析
从技术角度看,答案漂移的根源包括解码阶段的随机采样、模型权重的静默迭代、外部检索内容的差异以及对话上下文状态的变化。对于追求可复现性的工程场景,这提示开发者需要在温度参数控制、锁定模型版本快照、输出结果缓存等方面投入额外成本,否则上层应用将面临难以排查的行为不一致。从产业层面看,随着AI加速进入购物推荐、健康咨询、法律辅助等高敏感场景,’同一问题不同答案’会直接侵蚀用户信任,也可能推动监管对AI服务一致性、可追溯性提出要求。后续值得关注的动向包括:厂商是否会提供模型版本锁定机制与变更日志、社区是否会建立针对回答稳定性的基准测试,以及确定性推理模式能否在不牺牲输出质量的前提下提升可复现性。
核心观点:84%的答案漂移说明,随机性正在动摇大模型作为可信顾问的根基,一致性将成AI商业化的隐形门槛。
原文链接:Hacker News
