开源社区近日热议一款名为Ornith-1.0-35B的新型后训练模型。该模型由DeepReinforce-AI发布,基于Qwen架构进行了深度优化,参数规模为350亿。据社区透露,该模型的纸面基准测试参数表现甚至超过了一些397B参数级别的超大规模模型。在实测环节,有用户在配备48GB内存的M3 Max芯片设备上成功运行了该模型的Q4量化版本。测试设置为开启128k token长上下文窗口及2048的思考预算。据用户反馈,模型在本地运行时的体感流畅度较高,具备完成实际工作任务的产出能力。该模型的出现进一步证明了通过高质量的后训练与量化技术,中等参数规模的大模型也能在消费级硬件上提供接近顶级模型的性能表现。
事件分析
💡 核心观点:后训练优化与量化技术的结合,正让消费级硬件具备运行“智体级”大模型的能力,本地化AI部署门槛显著降低。
原文链接:Linux.do





