实测 MTP 技术让推理速度翻倍:Qwen 3.6 表现亮眼,为何 Gemma 4 仍缺席?
近日社区实测发现,Multi-Token Prediction (MTP) 技术能显著提升 Dense 模型的推理效率。在 vLLM 框架下,开启 MTP 的 Qwen3.6-27B 推理速度(TPS)实现了翻倍,达到 50-55 toke...
近日社区实测发现,Multi-Token Prediction (MTP) 技术能显著提升 Dense 模型的推理效率。在 vLLM 框架下,开启 MTP 的 Qwen3.6-27B 推理速度(TPS)实现了翻倍,达到 50-55 toke...
本评测基于i9-13900K与RTX 4090顶级配置,针对Gemma与Qwen系列的8款30B级本地模型进行了严苛对比。通过GSM8K、BBH及HumanEval+等基准测试,从逻辑推理、代码生成、速度与稳定性四个维度量化评估。结果显示,...

ECS / OSS / CDN / 云数据库一站采购,常用云资源集中选配;新用户与续费均有专场优惠,适合个人开发者与小团队长期使用。
近日,有科技爱好者根据日均调用量对开源AI模型进行了实测排名。结果显示,国产模型Qwen(通义千问)与Kimi(月之暗面)稳居前二,显示出极强的用户粘性与算力覆盖能力,即便热门参数版本常遇拥堵,用户依然“用脚投票”。谷歌Gemma 4虽仅上...
Google 官方推出了全新的端侧 AI 技术演示应用“AI Edge Gallery”。该应用的核心亮点在于完全本地化运行,无需联网,所有推理均在手机 GPU/NPU 硬件上完成,从而实现零延迟并极大保障了用户隐私。在模型支持方面,应用集...
本次评测基于 RTX 4090 平台,对比了 Gemma 4-26B、Qwen3.5-27B 及 Qwen3-Coder-Next 三款本地代码模型。结果显示,Gemma 4-26B 凭借最快的响应速度(18秒)和最强的综合逻辑能力成为最大...
这款名为“Gemma Multimodal Fine-Tuner”的开源工具,打破了高端AI训练的硬件门槛。它允许用户直接在搭载Apple Silicon芯片的Mac上,微调Google最新的Gemma 3和Gemma 4多模态大模型。与大...
近日,科技社区发现谷歌通过官方应用“Google AI Edge Gallery”,让安卓用户得以在手机端本地运行其开源大模型 Gemma。这一突破允许用户在完全无网络的环境下体验 AI 交互,尽管为了适应移动设备的算力限制,目前提供的模型...
微软正式推出了代号为“harrier-oss-v1”的系列嵌入模型,包含27B、270M和0.6B三个版本。该系列模型架构灵活,27B与270M版本采用Gemma3TextModel结构,而0.6B版本则基于Qwen3Model结构。其中,...