Orthrus-Qwen3：引入双视图扩散技术，实现无损并行生成与最高7.8倍推理加速
Orthrus-Qwen3 是一种基于 Qwen3 的创新双架构框架，通过将自回归 LLM 的精确生成能力与扩散模型的高速并行解码相结合，实现了高达 7.8 倍的推理速度提升。该方法采用原生共享 KV Cache 机制，保证了零冗余内存开销...
标签索引
推理加速
这个标签下有 9 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
谷歌发布Gemma 4多令牌预测技术，实现3倍推理加速且无损精度
谷歌宣布为其Gemma 4开源模型家族引入Multi-Token Prediction (MTP) 草稿器，通过一种名为投机解码的专用架构，在保持输出质量和推理逻辑完全一致的前提下，实现了高达3倍的速度提升。该技术通过让小型模型并行预测多个...
AI 推理效率新突破：Mamba-3 模型发布，专为 Agent 时代设计
卡内基梅隆大学与 Together AI 等机构联合发布了 Mamba-3，这是一种专为“推理效率”优化的新型状态空间模型（SSM）。与侧重训练速度的前代不同，Mamba-3 通过引入更丰富的递归机制、复数值状态跟踪及 MIMO 变体，有效...
长上下文已成标配，AI大模型下一战场：千倍Token喷射速度
随着DeepSeek等模型成功解锁长上下文能力，大模型的技术瓶颈正在转移。业界认为，下一阶段的竞争核心将从“上下文长度”转向“推理生成速度”，目标是实现每秒约1000个Token的极速输出。为了实现这一“Token喷射”体验，专用硬件（如X...
Mercury 2发布：采用扩散技术，推理速度突破每秒1000 tokens
Inception Labs 发布了号称全球最快的推理大语言模型 Mercury 2。不同于传统 Transformer 的自回归逐字解码，该模型创新性地利用扩散技术进行并行文本精炼，实现了生成模式的根本性改变。在 NVIDIA Black...
30人团队豪掷3000万美元打造AI新芯片，每秒2万Token生成速度引爆关注
一款由30人团队研发、耗资3000万美元的新型AI芯片近日引发热议。该芯片专为LLM设计，据称实现了每秒2万Token的惊人生成速度。通过在线平台chatjimmy.ai的实测显示，生成短篇小说几乎是瞬间完成，彻底消除了传统LLM的生成延迟...
Taalas 推出超高速 AI 推理产品 HC1：每秒 1.7 万 tokens，成本功耗大幅优化
AI 硬件领域迎来新突破，Taalas 发布首款产品 HC1，搭载 Llama 3.1 8B 模型。该设备实现了惊人的推理速度，达每用户每秒 17,000 tokens，较现有技术快近 10 倍。同时，HC1 将制造成本降低了 20 倍，功...
阶跃星辰发布Step 3.5 Flash：适配昇腾英伟达，推理速度每秒350 token
阶跃星辰正式发布新一代开源Agent基座模型Step 3.5 Flash。该模型采用稀疏MoE架构，总参数960亿，每个Token仅激活约110亿参数，兼顾性能与效率。其推理速度高达每秒350个Token，专为实时Agent工作流设计。目前...
实测GPT-5.2速度飙升，大模型响应步入毫秒级时代
继Cerebras宣称利用新技术重塑AI推理极限后，社区用户实测发现OpenAI官网的GPT-5.2系列模型响应速度显著提升。实测体验表明，包括GPT-5.2-xhigh和GPT-5.2-thinking在内的模型，在联网搜索及代码生成场景...