突破Transformer瓶颈：全球首个全亚线性大模型SubQ发布，支持1200万Token上下文
AI创新企业Subquadratic正式发布SubQ 1M-Preview，这是全球首个基于全亚线性架构的大语言模型。该模型通过重构底层注意力机制，彻底解决了传统Transformer算力随上下文长度呈“二次方增长”的瓶颈，实现了计算量的线...
标签索引
Subquadratic
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
标签索引
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
AI创新企业Subquadratic正式发布SubQ 1M-Preview，这是全球首个基于全亚线性架构的大语言模型。该模型通过重构底层注意力机制，彻底解决了传统Transformer算力随上下文长度呈“二次方增长”的瓶颈，实现了计算量的线...