显存瓶颈被打破：RTX 5090搭配512GB CXL内存，单机运行超大规模模型
硬件厂商zett-ai推出了名为zettEngine的深度学习工作站，其核心突破在于配备了512GB的CXL内存。该方案通过CXL技术允许GPU直接调用大容量系统内存，使得单张RTX 5090显卡也能运行显存需求高达数百GB的超大规模大模型...
标签索引 / 第 7 页
本地大模型
这个标签下有 71 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
Claude Code 遇配额瓶颈？教你如何无缝切换本地开源模型继续编程
针对 Claude Code 用户频繁遭遇 API 配额限制的痛点，本文提供了切实可行的“本地备用”方案。文章介绍了如何利用 LM Studio 或 llama.cpp，将 Claude Code 连接至本地运行的高性能开源模型（如 GLM...
结构化验证层：让小模型实现可靠浏览器自动化的关键
本文探讨通过引入验证层提升浏览器智能体可靠性。以亚马逊购物流程为例，展示了利用结构化快照和Jest式断言，使小型本地模型（约3B参数）成功完成自动化任务。文章指出，可靠性源自验证而非单纯增加模型参数，通过“Planner + Executo...
开发者实测：C++工程中本地开源模型与Copilot均难满足需求
受限于公司保密机制，某开发者在本地无法使用闭源模型，仅能测试内部部署的 GLM-4.7 和 MiniMax-M2.1 等开源模型，以及隔离在堡垒机上的 GitHub Copilot。在 C++ 项目实测中发现，无论是 Claude Code...
私有AI助手Clawdbot：让本地大模型接入全平台IM
Clawdbot是一款创新的私有AI助理项目，旨在将AI能力无缝集成到用户现有的IM工具中。它支持WhatsApp、Telegram、Slack、Discord以及iMessage、Signal和Matrix等主流协议，无需用户切换App。...
首款支持 Ollama 本地模型的 Claude Code 客户端发布
该项目推出了首个适配 Ollama 本地模型的 Claude Code 客户端。这一工具允许开发者利用本地大模型体验 Claude 级别的代码交互与生成功能。它不仅降低了云端 API 调用成本，更保障了代码隐私，标志着开源模型在工程化落地和...
用验证层提升Agent可靠性：亚马逊购物实测
本文探讨了通过验证层提升浏览器Agent可靠性的方法。在亚马逊购物案例中，系统采用DeepSeek-R1作为规划器，结合小模型执行器和Sentience验证层，成功实现了端到端的自主操作。相比纯视觉方案，结构化快照与显式断言不仅将Token...
Ollama v0.14.1 发布：新增实验性图像生成支持
本地大模型运行工具 Ollama 发布 v0.14.1 版本，宣布在 macOS 和 Linux (CUDA) 系统上提供实验性图像生成模型支持。用户现可通过命令体验首个可用模型 Z-Image-Turbo。虽然目前该模型仅支持 macOS...
AI赋能聊天记录年度总结：隐私与创意碰撞
在Linux.do技术论坛，用户热议利用AI分析微信/QQ聊天记录生成年度总结的创意。针对数据隐私问题，提议采用本地轻量化模型实现纯本地AI分析，避免云端风险。用户分享开源项目经验，寻求更多技术创意，旨在突破传统分析维度，结合AI爆炸趋势提...
本地AI编码模型完全指南：省下百元月费的技术方案
本文详细探讨了如何通过本地运行AI编码模型替代每月100美元的昂贵订阅服务。作者通过购买128GB RAM的MacBook Pro进行实验，证明本地模型可完成约90%的软件开发任务，性能差距仅约’半代’。文章深入讲解...