Qwen 3.5即将到来：Hugging Face PR揭示线性注意力与MoE架构细节

据Hugging Face Transformers代码库的最新提交，阿里通义千问Qwen 3.5系列模型发布在即。代码中最引人注目的技术更新是引入了`Qwen3_5DynamicCache`，证实新模型将支持“线性注意力”机制，这能有效处理序列长度维度并显著降低推理时的显存占用。此外，更新确认了Qwen 3.5将拥有庞大的家族阵容，涵盖纯文本、多模态视觉以及混合专家模型。这意味着新版本将在性能和效率上寻求双重突破。