华为Mate70 Pro成功本地部署千问2.5，开启SIMD优化后推理速度达50 token/s
近日，有技术极客在华为Mate70 Pro（搭载鸿蒙6.0系统）上成功实现了千问2.5（0.5b参数）大模型的完全本地化部署。测试初期使用llama.cpp后端，因未调用NPU，仅靠CPU硬算导致速度较慢。然而，在开启SIMD指令并行优化后...
标签索引
华为Mate70
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
标签索引
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
近日，有技术极客在华为Mate70 Pro（搭载鸿蒙6.0系统）上成功实现了千问2.5（0.5b参数）大模型的完全本地化部署。测试初期使用llama.cpp后端，因未调用NPU，仅靠CPU硬算导致速度较慢。然而，在开启SIMD指令并行优化后...