长期以来,大型语言模型(LLM)因内部运作机制不透明而被视为“黑盒”,但最新的机制可解释性研究正在改变这一现状。Anthropic 在 2025 年发布的论文《大型语言模型的生物学》中,通过“电路追踪”技术成功解析了模型内部的神经元活动。研究发现,虽然存在“叠加”现象使得单个神经元难以解读,但通过训练稀疏自动编码器,可以将复杂的激活模式分解为人类可识别的离散特征,如“德克萨斯”或“奥运会”。实验显示,模型在进行推理时确实存在多步逻辑链条,例如询问达拉斯所在州的首府时,模型会依次激活“达拉斯”、“德克萨斯”和“奥斯汀”等特征,展现了类似人类的伪符号推理能力。此外,Claude 3.5 Haiku 在处理加法运算时被证明使用了与人类心算截然不同的并行算法,且模型自身对这些内部“潜意识”算法并无认知。这一突破不仅有助于理解模型行为,也为识别危险意图和设计更高效的学习算法奠定了基础。
事件分析
💡 核心观点:打破 LLM “黑盒”迷思证明了神经网络内部确实存在类似人类的逻辑推理回路,这为 AI 安全对齐与下一代算法设计提供了前所未有的微观视角。
原文链接:Hacker News





