MiniMax 2.1 AWQ版实测：支持18.8万上下文，本地编程表现佳
Reddit社区推荐的MiniMax 2.1 AWQ量化版本表现亮眼。该模型针对MoE架构进行了深度优化，expert量化至W4A16，并使用侧重编程与DevOps的多语言数据集校准。实测显示，在vLLM 0.13.0环境下，该版本支持约1...
标签索引 / 第 13 页
本地部署
这个标签下有 130 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
开源AI写作助手“小可爱”发布：纯本地运行，专注剧情辅助
针对传统AI写作工具存在的文件管理混乱、上下文限制及幻觉问题，开发者推出了一款名为“小可爱”的开源写作助手。该工具采用纯本地运行模式，无需服务器，确保数据隐私，支持JSON格式导出及云端文件夹同步。其核心功能在于利用AI辅助用户构建世界观、...
IQuest-Coder-V1：本地AI编程方案落地探讨
在Linux.do技术论坛上，用户热议IQuest-Coder-V1这款AI编程工具的实际效果。参与者分享了使用经验，评估其代码生成质量、响应速度和部署难度，并深入探讨本地部署AI编程方案的可行性。讨论聚焦于技术挑战、资源需求及隐私保护优势...
阿里Qwen-Image-2512本地部署攻略：解决中文AI生成痛点
阿里于2025年末发布的Qwen-Image-2512模型在文字渲染和写实感方面取得突破性进展，完美解决了国产AI模型在中文文本生成上的痛点。本文提供了详尽的本地部署指南，包括Python 3.10和CUDA 12.4环境配置、PyTorc...
mgrep本地化改造：无需GPU的代码上下文引擎
随着上下文引擎兴起，作者基于mgrep开发本地服务，实现代码扫描、智能分块、嵌入生成与重排，写入ChromaDB向量数据库。采用TypeScript和Python技术栈，Docker部署，无需GPU即可运行。项目暴露HTTP API，便于集...
Mac本地AI模型：ollama小模型替代Gemini方案
随着Google收紧Gemini-flash-lite的使用量，用户面临快捷模型短缺问题。为解决此问题，计划在Mac上通过ollama持续运行本地小模型，如qwen3-4b或qwen3-8b，以实现长期稳定免费使用。用户倾向于选择资源消耗较...
个人知识库实战：文档管理与AI对话融合方案
本文详细介绍了一套个人知识库的最佳实践方案，整合文档管理与AI对话能力。通过部署Paperless-ngx进行文档资产管理，支持多格式文件和OCR识别；结合AnythingLLM创建可对话知识库，利用Ollama运行本地LLM模型实现智能检...
寻找本地部署的 AI 生图聚合站工具
在 Linux.do 技术论坛上，一位用户发起求助，寻找类似 OpenWebUI 的可本地部署 AI 生图聚合站工具。用户提到 OpenWebUI 虽然好用，但在集成各种生图 API 时遇到困难，因此需要本地化解决方案。这个帖子揭示了 AI...
KnowNote：Google Notebook LM本地替代品开源
科技爱好者们常面临Google Notebook LM等AI工具的隐私问题。一位开发者推出了KnowNote，一个基于Electron的本地替代品，旨在提供完全私有化的AI笔记体验。相比现有方案如Open Notebook需要复杂Docke...
本地部署LightRAG连接Dify：智能客服优化实战
本文详细记录了本地部署LightRAG并连接Dify的实战过程，旨在解决智能客服检索效率低下的问题。作者首先介绍了背景：公司部署智能客服时，使用dify加ragflow方案检索效果较慢，无法满足领导需求。随后，转向推荐LightRAG，并提...