突破Transformer瓶颈:全球首个全亚线性大模型SubQ发布,支持1200万Token上下文
AI创新企业Subquadratic正式发布SubQ 1M-Preview,这是全球首个基于全亚线性架构的大语言模型。该模型通过重构底层注意力机制,彻底解决了传统Transformer算力随上下文长度呈“二次方增长”的瓶颈,实现了计算量的线...
标签索引
这个标签下有 2 篇文章。按时间回看相关判断与实践记录。
标签精选
AI创新企业Subquadratic正式发布SubQ 1M-Preview,这是全球首个基于全亚线性架构的大语言模型。该模型通过重构底层注意力机制,彻底解决了传统Transformer算力随上下文长度呈“二次方增长”的瓶颈,实现了计算量的线...
近期,海外社交媒体与Linux.do论坛热议DeepSeek正在对模型进行高频的“静默更新”。多位用户实测发现,其在线模型在数学推理、代码生成方面的能力较前几日有显著提升,甚至在3D体素(Voxel)生成领域也表现出进步。这种未发公告即上线...