该研究提出基于 Clifford 几何代数 Cl(4,1) 的新型神经网络架构,试图解决传统 Transformer 将 Token 语义与上下文状态混合的根本缺陷。通过将向量分离为承载原始语义的“不变核”和承载推理状态的“等变分量”,实验证实了数学上的严格隔离性。初步测试显示,该架构显存占用不随序列长度增长,有望为长文本推理和模型可解释性提供突破性思路。
挑战Transformer架构:受DNA启发的几何代数模型实现显存恒定
未经允许不得转载:80aj » 挑战Transformer架构:受DNA启发的几何代数模型实现显存恒定







