华为Mate70 Pro成功本地部署千问2.5,开启SIMD优化后推理速度达50 token/s
近日,有技术极客在华为Mate70 Pro(搭载鸿蒙6.0系统)上成功实现了千问2.5(0.5b参数)大模型的完全本地化部署。测试初期使用llama.cpp后端,因未调用NPU,仅靠CPU硬算导致速度较慢。然而,在开启SIMD指令并行优化后...
标签索引
这个标签下有 3 篇文章。按时间回看相关判断与实践记录。
标签精选
近日,有技术极客在华为Mate70 Pro(搭载鸿蒙6.0系统)上成功实现了千问2.5(0.5b参数)大模型的完全本地化部署。测试初期使用llama.cpp后端,因未调用NPU,仅靠CPU硬算导致速度较慢。然而,在开启SIMD指令并行优化后...
近日,有科技博主在论坛分享了鸿蒙系统6.0.130版本的最新AI应用体验。在图库应用中,用户仅需长按AI导航条并发出语音指令“帮我把这张图改成水墨画”,系统即可调用大模型瞬间将普通照片转化为极具质感的中国水墨画。实测表明,该功能不仅生成速度...
一位开发者使用Flutter框架成功开发了一款支持iOS、Android和鸿蒙系统的AI聊天客户端,并已正式上架App Store。该应用名为Kelivo,集成了MCP协议、联网搜索、助手管理等丰富功能,支持Google Gemini等多种...