近日,有用户发现在使用MiniCPM-V2.6模型时,CPU推理一张图片需要大量时间,据称可能达到255秒甚至360秒,而模型加载仅需5秒左右。这一现象引发了对CPU推理性能优化的讨论。在AI应用日益普及的背景下,如何在普通硬件上提高模型推理效率成为重要课题。尽管有用户提出了优化需求,但论坛中尚未看到有效的解决方案。这一问题对于关注AI性能优化和边缘计算的从业者具有重要参考价值。
MiniCPM-V2.6 CPU推理耗时数分钟,优化引关注
未经允许不得转载:80aj » MiniCPM-V2.6 CPU推理耗时数分钟,优化引关注







