GitHub热榜：本地大模型怎么选？开源工具 whichllm 自动匹配硬件并跑分推荐
对于想要在本地部署大模型的开发者来说，面对繁多的模型和参数配置，往往难以判断“哪个模型在自己的电脑上跑得最快且效果最好”。开源工具 whichllm 应运而生，它不仅能自动检测用户的 GPU、CPU 和内存，还能结合 LiveBench、C...
标签索引
本地大模型
这个标签下有 71 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
24GB内存M4 MacBook实战：如何高效运行本地大模型与AI编程？
本文详细记录了作者在配备24GB内存的M4 MacBook Pro上运行本地大模型的实战经验。经过对多种工具（LM Studio、Ollama）和模型（如Gemma、Qwen 3.5-9B）的测试，作者发现Qwen 3.5-9B (Q4量化...
开源项目：基于本地 LLM，用 Tauri 打造赛博朋克风格的 AI 音乐电台
一位开发者采用“Vibe Coding”模式，利用 Tauri 2.0、Svelte 5 和 Python Sidecar 构建了一款桌面端 AI 音乐电台。该应用不仅能播放 QQ 音乐收藏，还能在歌曲间隙通过 AI DJ 生成包含天气、股...
只需一行命令：Claude Desktop 完美兼容 Ollama 本地模型
Ollama 近日更新推出了 `ollama launch claude-desktop` 命令，使用户能一键将本地部署的大模型接入 Claude Desktop 应用。该功能利用 Claude 内置的第三方推理支持，允许用户在 Claud...
拒绝被API按次收费“收割”：手把手教你用开源模型搭建本地AI编程助手
随着OpenAI和微软等巨头推行激进的使用量计费模式，AI编程的成本日益高昂。本文深入探讨了利用本地硬件（如24GB显存显卡或M系列Mac）运行Qwen3.6-27B等开源模型的可行性与实操细节。文章详细介绍了通过Llama.cpp部署模型...
自建大模型刚需：这款 GPU 推理速度计算器帮你精准选卡
随着本地大模型部署需求的激增，如何精准评估硬件性能成为用户痛点。一款在线 GPU 推理速度计算器近日在技术社区走红，该工具通过量化生成速度，直观展示了不同显卡（包括 NVIDIA 及 Apple Silicon）在 AI 任务中的实际表现。...
SimplePDF Copilot：利用客户端工具调用实现纯浏览器端AI填表
SimplePDF Copilot是一款创新的AI助手，不仅能“阅读”PDF，更能直接在浏览器端“操作”PDF（如填表、删页）。其核心优势在于极致的隐私保护架构：采用客户端工具调用技术，PDF文件数据的解析与交互完全在本地完成，仅将文本指令...
抛弃臃肿软件！Rust打造的轻量级AI助手Kivio开源
针对主流AI桌面应用（如Claude Desktop、Kimi等）内存占用常超500MB的痛点，开发者推出了基于Rust编写的开源AI助手Kivio。该软件主打极致轻量，安装包不足10MB，后台内存占用仅约25MB。Kivio实现了屏幕级A...
开源 Chrome 侧边栏 AI 助手 PageMind：支持本地模型与自定义 Key，无后端更安全
针对现有 AI 阅读插件强制订阅、不支持自定义 Key 以及隐私数据担忧等问题，开发者推出了开源 Chrome 插件 PageMind。这是一款运行在浏览器侧边栏的 AI 阅读助手，支持一键总结网页、多轮对话及 Slash 命令（如生成思维...
开源AI Agent实测：Hermes本地部署指南，整合WebUI与自进化技能
一位技术爱好者分享了第五次重装Hermes AI Agent的实战经验，认为其效果优于之前的工具。文章详细介绍了如何整合GitHub上最新的WebUI界面以及“自我进化”技能模块，并完成了从云端到本地的迁移。在硬件环境方面，作者展示了在32...