拓扑Transformer问世：KV缓存减半，突破传统注意力机制

本文介绍了名为Tauformer的新型拓扑Transformer架构，它通过图拉普拉斯导出的标量替代传统的点积注意力，将域结构直接注入模型。这种设计使KV缓存只需存储值和标量流，而非完整的键张量，实现了约50%的逐层缓存缩减。在H100上的30M参数模型训练显示，验证损失迅速收敛至1.91，验证了该架构在降低计算成本和内存占用方面的潜力。