 

MiniCPM-V2.6 CPU推理耗时数分钟，优化引关注

2025-12-23 分类：前沿哨所阅读(24) 评论(0) 赞(0)

智谱 GLM，支持多语言、多任务推理。从写作到代码生成，从搜索到知识问答，AI 生产力的中国解法。

近日，有用户发现在使用MiniCPM-V2.6模型时，CPU推理一张图片需要大量时间，据称可能达到255秒甚至360秒，而模型加载仅需5秒左右。这一现象引发了对CPU推理性能优化的讨论。在AI应用日益普及的背景下，如何在普通硬件上提高模型推理效率成为重要课题。尽管有用户提出了优化需求，但论坛中尚未看到有效的解决方案。这一问题对于关注AI性能优化和边缘计算的从业者具有重要参考价值。

原文链接：Linux.do

赞(0)

未经允许不得转载：Toy's Tech Notes » MiniCPM-V2.6 CPU推理耗时数分钟，优化引关注

分享到

AI模型 CPU推理性能优化

评论抢沙发

前沿哨所

Toolify新增自动重试功能，显著提升AI函数调用稳定性

AI工具Toolify发布更新，引入了函数调用自动重试机制。当大模型输出的工具调用解析失败时，系统会将错误信息反馈给模型以自动修正，从而提升容错率。该功能对客户端透明，虽可能增加延迟，但有效解决了模型偶尔犯蠢导致的调用失败问题。此外，作者对比发现，部分模型在原生工具调用上表现不佳，而通过Toolify的提示词调用方式成功率更高。新版本已提供GHCR镜像支持。

原文链接：Linux.do

2小时前
Linux 之父点赞 Google AI 编程：代码质量超越手写

Linux 之父 Linus Torvalds 在其 GitHub 仓库 AudioNoise 中合并了来自 Google “Antigravity” 的分支。据悉，该代码由 Google 的 AI 编程工具生成，主要用于修复并优化可视化工具。更新内容包括实现了自定义矩形选择器、缩放功能、键盘导航以及内存优化等。尽管过程中遇到了一些内置功能的冲突，但 Linus 对最终成果给予了高度评价，直言其代码质量远超自己手写的水平，标志着 AI 辅助编程能力的重大突破。

原文链接：Linux.do

2小时前
CC-Switch CLI v4.1.0 发布：支持交互式管理 AI 配置

CC-Switch CLI v4.1.0 正式发布，重点升级交互式体验。新版支持在 TUI 界面直接添加和编辑 Provider，新增端口连通性与延迟测试，并引入环境变量冲突检测以解决配置失效问题。此外，优化了中英文多语言支持，让开发者管理 Claude/Gemini 配置更高效。

原文链接：Linux.do

2小时前
马来西亚宣布封禁马斯克旗下Grok服务，跟进印尼监管举措

马来西亚通讯及多媒体委员会（MCMC）发布通告，宣布即日起暂时封禁埃隆·马斯克旗下的人工智能服务Grok。此举被视为跟进印尼近期的监管措施，封禁原因主要涉及NSFW（不适宜工作场所）内容的安全问题。目前尚不清楚禁令将持续多久，部分运营商可能尚未完全落实封锁。这一事件凸显了东南亚国家对AI内容合规性的监管正在迅速趋严。

原文链接：Linux.do

2小时前
AI 编程引发代码膨胀：项目验收是否该抛弃“代码行数”指标？

随着人工智能编程工具的普及，软件开发效率大幅提升，但也带来了新的挑战。近期有观点指出，乙方利用 AI 快速生成数十万行代码，虽功能正常，但代码量远超传统预期。这一现象引发了行业对项目验收标准的深刻反思：在 AI 时代，单纯依赖代码行数来衡量工作量或质量已不再适用，甚至可能导致维护成本激增。行业亟需建立更科学的代码质量评估体系，以应对 AI 带来的技术变革。

原文链接：V2EX 分享发现

2小时前
物理级防删！基于Svelte 5与Arbitrum的去中心化论坛Chain Talk开源

开发者推出基于 Svelte 5 和 Arbitrum One 构建的去中心化论坛 Chain Talk。该项目无传统后端，所有内容直接上链，实现“物理级防删”。得益于 L2 技术，发帖成本仅约 0.005 美元。项目采用 Svelte 5 Runes 模式和 Solidity 智能合约，旨在构建一个“永不塌陷”的内容避难所，目前代码已开源。

原文链接：V2EX 分享发现

2小时前