Mac mini M4 本地部署实测：Qwen3.5 借助 oMLX 并发提速最高 2.77 倍
一项针对 Mac mini M4 的基准测试显示，利用优化工具 oMLX 部署 Qwen 3.5 大模型，其并发推理性能获得了显著提升。在 Qwen 3.5-9B 模型的测试中，通过启用连续批处理技术，系统在处理 8 个并发请求时实现了最高...
标签索引 / 第 6 页
本地大模型
这个标签下有 71 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
玩转本地大模型：如何利用NAS和虚拟机搭建高可用的“AI服务器”
本文分享了个人搭建本地大模型（LLM）运行环境的完整方案。针对网络连接、系统安全及文件管理三大痛点，作者提出利用软路由解决网络干扰，通过PVE虚拟机实现环境隔离与定时快照备份以防范模型“删库”风险，并结合NAS的NFS挂载与Seafile网...
实测RTX 4060本地运行5款轻量级翻译模型，HY-MT1.5表现惊艳
本文详细记录了在配置为i7处理器和RTX 4060显卡的普通Windows笔记本上，对五款主流轻量级翻译模型的实战测评。作者利用BLEU、CHRF等客观指标结合DeepSeek外部LLM打分，对模型进行了全方位对比。测试发现，HY-MT1....
本地大模型新玩法：QQ机器人现已支持接入OpenClaw，部署仅需三步
社区传出消息，OpenClaw（Clawdbot）已成功实现与QQ机器人的直接对接。用户通过腾讯云Lighthouse服务器部署，仅需三行命令即可完成配置，实现本地大模型在QQ私聊及群聊场景下的无缝应用。相比其他社交平台的封闭性，QQ机器人...
本地大模型工具Molili公测：支持一键部署与钉钉、飞书、Siri深度集成
OpenClaw中文版“Molili”近日开启公测，定位为一款简单易用的本地大模型部署工具。其核心优势在于“一键安装、一键部署”，显著降低了普通用户使用本地AI的门槛。Molili不仅内置了基础大模型能力，还支持接入第三方大模型API。最大...
苹果发布搭载 M5 Pro/Max 芯片的新款 MacBook Pro，端侧 AI 性能提升最高达 8 倍
苹果正式发布配备全新 M5 Pro 和 M5 Max 芯片的 14 及 16 英寸 MacBook Pro，专为专业级 AI 工作流打造。新芯片采用融合架构，并在 GPU 核心中首次引入神经加速器，使得 AI 性能相比前代提升 4 倍，相比...
零成本玩转本地大模型：三步教你通过 Cloudflare Tunnel 与好友共享算力
本文介绍了一种极低门槛的本地大模型分享方案。以 Mac 和 LM Studio 为例，利用 Cloudflare Tunnel 工具，用户无需购买公网服务器或进行复杂配置，即可将本地部署的 AI 模型转化为服务接口分享给好友。文章详细拆解了...
开源神器Eve：24小时全平台录音+实时本地转写，你的个人AI记忆外挂
开发者近日开源了一款名为 Eve 的跨平台长时录音与转写工具。该工具支持 macOS、Windows 和 Linux，能够实现 24 小时不间断录音，并利用本地算力（默认采用 Qwen3-ASR）进行实时语音转文本。Eve 具备 VAD 静...
无需云端也能整理万张图片：基于Ollama的本地大模型分类工具实测
针对个人设备中大量图片难以整理的痛点，一位开发者开源了基于 Python 和 Ollama 的本地图片/视频分类工具。该工具利用本地视觉大模型（如 qwen3-vl）进行内容识别，支持自定义分类逻辑和双重归档模式。实测表明，在搭载 RTX ...
语音转文字神器 Typeless 引热议：秒级 AI 修改引爆体验，疑似本地模型赋能？
近日，一款名为 Typeless 的语音识别与 AI 修饰工具在社区引发关注。用户实测反馈，该工具在语音转文字及 AI 修改环节速度惊人，全程不到一秒，准确率与流畅度均完爆市面同类竞品。针对其极致的响应速度，社区猜测其背后可能采用了本地模型...