LiquidAI推出专为端侧部署的LFM2.5系列模型,其1.2B参数版本性能媲美大模型。该模型在AMD CPU上解码速度达239 tok/s,移动NPU上达82 tok/s,内存占用低于1GB。模型基于28T令牌训练,支持llama.cpp等框架,并涵盖日文、视觉及音频多模态,展示了端侧AI的强大潜力。
LiquidAI开源LFM2.5端侧模型,1.2B参数实现极致推理
未经允许不得转载:80aj » LiquidAI开源LFM2.5端侧模型,1.2B参数实现极致推理
LiquidAI推出专为端侧部署的LFM2.5系列模型,其1.2B参数版本性能媲美大模型。该模型在AMD CPU上解码速度达239 tok/s,移动NPU上达82 tok/s,内存占用低于1GB。模型基于28T令牌训练,支持llama.cpp等框架,并涵盖日文、视觉及音频多模态,展示了端侧AI的强大潜力。