硬核实战：利用Llama.cpp在8卡A100服务器上成功部署DeepSeek V4 Flash
本文作者详细记录了在配备8张NVIDIA A100（单卡40G显存，NVLink互联）的服务器上，本地部署DeepSeek V4 Flash模型的技术路径。鉴于主流工具Ollama尚未提供支持，作者采用了社区开发者nisparks修改的Ll...
标签索引 / 第 2 页
本地部署
这个标签下有 130 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
旧显卡焕发新生：2080Ti成功部署Qwen 3.6 35B大模型，实测67 TPS与128k上下文
一位开发者利用 llama.cpp 成功将 35B 参数规模的 Qwen 3.6-A3B 模型部署到仅 11GB 显存的 RTX 2080Ti 显卡上。得益于 IQ1_M 超强量化技术，该模型实现了 128k 长上下文处理能力，单并发速度达...
榨干ChatGPT Pro价值：利用MCP协议连接本地环境，复刻Codex编程体验
本文介绍了一种基于MCP（模型上下文协议）的技术方案，旨在将ChatGPT Pro与用户本地环境进行深度连接。通过部署相关工具，ChatGPT能够直接读取和处理本地文件与代码库，从而实现类似OpenAI Codex的本地化编程辅助能力。这一...
20元比本地部署更香？百度AI编程计划引发开发者热议，云端成本优势凸显
一位开发者分享了使用优惠券以20元低价购入百度“Coding Plan”Lite版的体验，并指出其成本远低于本地部署Ollama模型所需的电费与硬件损耗。这一对比揭示了当前国内AI编程市场的价格战现状：除了字节跳动的火山方舟，百度凭借极具竞...
三天烧光 10M tokens，开发者自制开源版 Claude Design：支持本地部署、多模型自由切换
针对 Claude Design 额度受限且强制订阅的痛点，开发者推出了开源替代品 Open CoDesign。这款本地桌面应用支持 BYOK（自带密钥）模式，兼容 GPT、Claude、Gemini、DeepSeek 等多种模型，打破了单...
开源复刻 Claude Design：Open CoDesign 实现本地生成，支持 DeepSeek 与 Ollama
针对 Claude Design 的订阅门槛与模型限制，开源社区迅速推出了本地替代方案 Open CoDesign。该工具基于 Electron 开发，支持 Prompt 到 UI 的直接生成，允许用户“自带密钥”（BYOK）接入 Clau...
MindFS：一款统一管理 Claude、Copilot 等多 Agent 的本地化编程交互终端
MindFS 是一款旨在统一管理多种 AI 编程助手的本地化交互工具。它支持接入 Claude、OpenAI、Cursor、GitHub Copilot 等十余种 Agent，允许用户在同一界面实时流式输出、共享上下文并灵活切换。该工具采用...
4090实测8款30B级大模型：Gemma-4断层第一，Qwen3.5代码封神
本评测基于i9-13900K与RTX 4090顶级配置，针对Gemma与Qwen系列的8款30B级本地模型进行了严苛对比。通过GSM8K、BBH及HumanEval+等基准测试，从逻辑推理、代码生成、速度与稳定性四个维度量化评估。结果显示，...
教程：IDEA集成本地Claude Code，打造高效AI编程环境
本文详细记录了如何利用 ACP 协议，将本地运行的 Claude Code 与 IntelliJ IDEA 的 AI Assistant 插件进行深度集成。通过配置 CC Switch 和修改 acp.json，开发者可以在熟悉的 IDE ...
无需付费API：一种实现AI智能体对话的轻量级本地方案
这项技术展示了一种无需支付昂贵API费用即可实现AI智能体之间对话与协作的轻量级解决方案。通常，构建多智能体系统依赖OpenAI或Anthropic等昂贵的云端API，导致部署成本高昂且受限于网络。该项目提出了一种创新的本地化架构，允许开发...