“龙虾”弹尽粮绝？AI智能体变现遇冷，本地算力成新出路
一篇来自技术社区的讨论揭示了AI开发者面临的现实困境。用户以“养老虾”（隐喻运行AI智能体或自动化脚本）为题，吐槽长期维护成本高昂且缺乏实际收益。为降低API调用或持续维护成本，该用户正计划采购铭凡、零刻或Nvidia工作站等硬件，尝试部署...
标签索引 / 第 4 页
本地大模型
这个标签下有 71 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
破解ArXiv阅读障碍：支持公式解析与本地AI模型的论文翻译方案
随着AI技术的飞速迭代，大量前沿论文仅以英文发布在ArXiv上，给国内开发者和研究者造成了阅读壁垒。目前用户面临的核心痛点在于：通用翻译工具无法准确处理复杂的LaTeX公式和图片，且调用云端API存在数据隐私与成本顾虑。社区正在积极寻找能够...
谷歌 Gemma 4 “驾驶”浏览器：这款开源插件实现全本地化 AI 智能体
Gemma Gem 是一款基于 WebGPU 技术的 Chrome 浏览器扩展，将谷歌最新的 Gemma 4 模型直接嵌入浏览器端运行。该工具完全无需 API 密钥或云端支持，确保用户数据不离开本地设备。除了基础的问答功能，它还具备强大的 ...
初三学生打造高颜值 Android 本地 Agent「Aether 扶摇」，支持 MCP 与 Termux
开发者分享了一款名为「Aether 扶摇」的 Android 本地 AI Agent 应用开发进度。该项目旨在解决现有方案（如 Operit）臃肿、配置复杂的问题，主打轻量化与现代化 UI。应用支持连接 Termux，集成了 13 种内置工...
无需联网！谷歌官方工具支持安卓手机本地运行Gemma大模型
近日，科技社区发现谷歌通过官方应用“Google AI Edge Gallery”，让安卓用户得以在手机端本地运行其开源大模型 Gemma。这一突破允许用户在完全无网络的环境下体验 AI 交互，尽管为了适应移动设备的算力限制，目前提供的模型...
OpenHarness：支持Ollama与DeepSeek的开源终端编程智能体
OpenHarness 是一款新兴的开源终端编程智能体，致力于解决代码 AI 对云端 API 的依赖问题。它支持通过 Ollama 接入本地大模型（如 DeepSeek、Qwen、Llama），实现免费、私密的编码体验。项目具备强大的工程能...
本地AI也“中毒”？GitHub Issue疑遭恶意注入，语料污染引发安全担忧
一位开发者在本地部署AI Agent时遭遇惊魂时刻，模型在输出过程中突然出现异常的中文乱码与指令。经排查，该现象疑似源于此前GitHub Issue中潜伏的恶意代码污染了模型的语料库或RAG检索数据。尽管服务器环境相对封闭且无公网暴露，但此...
基于谷歌Atomic Chat逆向优化，新工具实现在MacBook本地流畅运行35B大模型
针对在32GB内存的MacBook上本地运行大模型（如Qwen 27B）时遇到的卡顿问题，社区近期挖掘出一种基于谷歌Atomic Chat的逆向优化方案。开发者通过名为“turboquant_plus”的项目，实现了高达4.6倍的KV缓存压...
WeLink v0.0.3 发布：支持本地大模型，开启微信聊天记录深度分析
开发者发布了 WeLink v0.0.3 版本，这是一个专为微信聊天记录设计的本地分析工具。新版本引入了完整的 AI 分析引擎，支持通过 Ollama 部署本地大模型，确保用户隐私数据不离线。用户不仅能利用自然语言对话分析人际关系演变（如“...
Kian v0.1.13 更新：接入 Ollama 本地模型，优化多智能体交互
AI 框架 Kian 发布 v0.1.13 版本，重点提升了易用性与灵活性。新版本重构了消息处理流程，支持多条消息连续发送及子智能体逐一回复，并优化了微信等渠道的会话管理逻辑，默认基于最新话题延续。此外，系统新增自定义模型配置项，现已支持接...