研究发现Transformer架构天生具有“简洁”特性
本文源自Hacker News的一则热门讨论，聚焦一项关于Transformer模型的最新理论研究。该研究提出了“Transformer天生简洁（Inherently Succinct）”的观点，试图从理论角度解释该架构为何在处理复杂语言任...
标签索引
Transformer架构
这个标签下有 5 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
Moonshot 推出 Attention Residuals：重塑 Transformer 残差连接，显著提升大模型推理性能
Moonshot AI（Kimi 团队）发布了一种名为“Attention Residuals”的新型架构，旨在改进标准 Transformer 的残差连接机制。传统连接采用固定权重累加，容易导致深层网络中特征的稀释；而 AttnRes 引...
打破黑盒：无需训练复制特定层，24B模型逻辑推理能力暴涨245%
Hacker News热门项目显示，通过复制Transformer中的特定“推理电路”层，可在无需任何训练的情况下显著提升模型智商。在Devstral-24B模型上复制第12-14层，其逻辑推理得分从0.22跃升至0.76。该工具利用AMD...
Kimi祭出架构新解：Attention Residuals重塑残差连接，攻克Transformer深层信息稀释难题
月之暗面Kimi最新研究《Attention Residuals》针对Transformer架构中“深层信息被稀释”的痛点提出了革新方案。该研究推翻了沿用十年的“等权求和”残差连接，将其升级为带学习权重的“注意力聚合”。这种设计使得每一层网...
AI大模型全栈测试开发课程2025：从原理到实践的技术指南
该课程提供2025年AI大模型全栈测试开发的系统学习路径，涵盖从基础原理到高级应用的全方位内容。课程包括Transformer架构解析、OpenAI与DeepSeek大模型应用、提示词工程、LangChain框架实战、Dify工作流搭建、禅...