Kimi祭出架构新解：Attention Residuals重塑残差连接，攻克Transformer深层信息稀释难题
月之暗面Kimi最新研究《Attention Residuals》针对Transformer架构中“深层信息被稀释”的痛点提出了革新方案。该研究推翻了沿用十年的“等权求和”残差连接，将其升级为带学习权重的“注意力聚合”。这种设计使得每一层网...
标签索引
残差连接
这个标签下有 2 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
DeepSeek mHC 复现：颠覆传统残差连接，重塑 Transformer 架构
自2016年以来，无论是GPT-5、Claude还是Gemini，所有主流Transformer模型均沿用单一残差连接设计 $x + F(x)$。本文深入探讨了DeepSeek提出的mHC架构，该设计大胆挑战了这一传统范式，通过拓宽残差连接...