David Noel Ng 分享了如何在不修改任何权重的情况下,仅通过复制现有大模型(Qwen2-72B)的特定中间层,利用两块消费级 RTX 4090 显卡成功登顶 HuggingFace 排行榜的传奇经历。他开发的“脑部扫描”技术发现,Transformer 模型内部存在明确的“功能解剖学”:早期层负责编码,后期层负责解码,而中间层则是执行特定认知操作的独立“神经回路”。这一发现不仅挑战了传统的缩放定律,更证明了通过增加“思考深度”(重复推理电路)比单纯的参数扩容更能有效提升模型性能。
原文链接:Hacker News










