算力效率

算力革命：新研究实现Transformer“常数Token成本”，内存消耗呈数量级下降

现有Transformer模型的自注意力机制计算成本随上下文长度增加而暴涨，限制了AI模型的效率。该论文提出了一种基于对称感知泰勒展开的数学方法，成功将自注意力的计算复杂度降至每个Token的“常数成本”。该方法通过分解传统张量积链的对称性...