本文提出一种直观框架，将现代Transformer的各类层统一理解为关联记忆存储器，并逐步推导出各架构的存储容量。作者从最基础的外积记忆存储出发：将记忆以键值对形式累加进权重矩阵，其容量约等于键维度d_k，64维键仅能存约64条记忆。随后引入最小二乘优化得到最优线性存储，容量翻倍至2d_k。再通过ReLU等非线性激活抑制低相似度键的干扰，即从第一性原理重新推导出两层MLP结构：平方ReLU将容量提升至约2d_k²/3（64维键约2700条），与主流SwiGLU MLP容量相当，立方ReLU可达约35000条。将幂次推向极限即指数函数，经归一化后正是自注意力机制，其容量随锐度β指数增长，β=√d_k时64维键可存约120万条记忆；且其键值对来自上下文token而非训练参数，属非参数化存储，可随上下文长度无限扩展。该框架还解释了长上下文缩放技巧的有效性：LogN-Scaling、Scalable-Softmax与YaRN的注意力缩放，均通过随记忆数增大β来维持召回质量。文末给出各存储容量对比表，并梳理Hopfield网络、快速权重、记忆编辑等延伸方向。
事件分析
技术看点方面，文章以干扰-信号比为核心度量，将MLP与自注意力纳入同一记忆框架，弥合了参数化存储（MLP权重）与非参数化存储（KV缓存）之间的理论鸿沟，并还原了Transformer原论文早期版本曾将前馈层描述为’一种注意力’的历史细节。产业层面，该分析为Qwen系列模型的LogN-Scaling、YaRN注意力缩放等长上下文工程实践提供了第一性原理解释，对长上下文训练与推理优化具有直接参考价值。后续值得关注的方向包括：以稀疏记忆层替代或增强MLP（如Memory Layers、UltraMem）、推理期更新的快速权重架构（Mamba、Titans），以及模型内部记忆的定位与编辑（ROME、MEMIT），这些方向共同指向以记忆效率为核心的新一轮架构竞争。
核心观点：大模型架构演进的本质是记忆容量从线性到指数级的跃迁，层即存储器这一视角，为长上下文与新型记忆层设计提供了第一性原理指引。
原文链接：Hacker News
