极客突破:M3 Max Mac仅需48GB内存即可运行3970亿参数大模型
Flash-MoE 项目展示了极致的软件优化能力,通过纯 C 语言和 Metal 编写的推理引擎,成功在仅配备 48GB 内存的 MacBook Pro (M3 Max) 上流畅运行 3970 亿参数的 Qwen3.5 混合专家模型(MoE...
标签索引
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
Flash-MoE 项目展示了极致的软件优化能力,通过纯 C 语言和 Metal 编写的推理引擎,成功在仅配备 48GB 内存的 MacBook Pro (M3 Max) 上流畅运行 3970 亿参数的 Qwen3.5 混合专家模型(MoE...