Moonshot 推出 Attention Residuals：重塑 Transformer 残差连接，显著提升大模型推理性能
Moonshot AI（Kimi 团队）发布了一种名为“Attention Residuals”的新型架构，旨在改进标准 Transformer 的残差连接机制。传统连接采用固定权重累加，容易导致深层网络中特征的稀释；而 AttnRes 引...
标签索引
Moonshot AI
这个标签下有 2 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
Kimi发布AttnRes架构：用动态注意力机制重塑大模型深层信息流
月之暗面Kimi团队近日发布研究，提出名为“Attention Residuals”（AttnRes）的创新架构技术。针对大语言模型在加深网络时常见的层级贡献稀释问题，该技术摒弃了传统的固定权重残差连接，转而引入跨层级的动态注意力机制。这使...