实测Qwen3.5-4B蒸馏版：入门级显卡1650也能流畅运行AI编程
本文记录了Qwen3.5-2B及4B参数的Opus推理蒸馏版本在GTX 1650 4G显卡上的性能实测。测试任务为生成包含复杂动画效果的HTML/CSS/JS天气卡片代码。结果显示，2B模型处理速度高达38 tokens/s，而4B模型在q...
标签索引 / 第 9 页
本地部署
这个标签下有 130 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
类Cursor体验的开源AI写作工具“文枢WenShape”发布，支持Wiki深度检索
“文枢 WenShape”是一款深度上下文感知的智能小说创作系统，目前已更新至v0.36版本。该系统最大的亮点在于采用了类似IDE代码编辑器（如Cursor）的交互逻辑，并集成了Wiki（如萌娘百科）实时检索功能与本地设定读取能力。它不仅能...
硬件资源受限也能跑大模型？新工具实现LLM自动适配CPU与显存
针对本地部署大模型时硬件资源不足的痛点，GitHub上的新项目（作者alexsjones）提出了一种解决方案，能够根据系统现有的RAM、CPU和GPU资源自动“调整”LLM模型的规模。该工具致力于解决大模型推理对硬件的高依赖问题，通过智能检...
本地AI Agent革命：OpenClaw全家桶深度评测与选型指南
本文全面盘点了以OpenClaw为核心的AI Agent工具生态，涵盖了从原版到ZeroClaw、Nanobot等10款衍生工具。OpenClaw作为本地AI助理的革命性工具，通过Gateway架构实现了跨设备记忆与自动化工作流。文章针对程...
阿里Qwen3.5重磅发布：性能对标Claude 4.5，消费级显卡即可运行百万上下文
阿里巴巴通义千问团队推出了全新的Qwen3.5 Medium系列模型，包含35B及122B等版本。令人瞩目的是，这些开源模型在基准测试中表现超越了OpenAI GPT-5-mini和Anthropic Claude Sonnet 4.5。该...
本地部署AI写小说工具Author：Docker实战教程
针对近期社区热议的AI驱动的写小说工具“Author”，开发者提供了详细的本地Docker部署方案。由于原项目仓库暂未包含容器化部署文件，该教程填补了这一空白，提供了两种部署路径：一是直接拉取预构建的Docker镜像，适合快速体验；二是基于...
无需 Ollama！这个开源项目将 Mac 原生 AI 封装为标准 OpenAI 接口
基于苹果最新开源的 macOS 基础大模型 Python SDK，开发者推出了 “apple-to-openai” 开源项目。该项目能够将 Mac 内置的 Apple Intelligence 算力直接封装为标准的 OpenAI API 接...
本地部署 AI 应用成本惊人：十分钟耗尽 1200 万 Token，大模型效率问题引热议
一位开发者在本地搭建 AI 框架 OpenClaw 并接入 GLM 大模型进行测试，结果仅在十分钟内就耗尽了平台赠送的 1200 万 Token。这一经历不仅暴露了当前部分 AI 应用框架在资源控制上的不足，也直观地展示了大模型本地化部署的...
英伟达赋能：手把手教你配置高效AI记忆系统OpenClaw
本文详细介绍了开源AI记忆系统OpenClaw的高效配置方法。文章首先指出，通过接入英伟达提供的免费嵌入模型，用户可以在低成本的前提下实现高效的memorySearch检索。其次，教程演示了如何启用Hooks机制，自动将历史会话摘要写入日志...
告别选择困难：GitHub 新工具一键匹配适合你电脑的本地大模型
随着 AI 技术的普及，在本地运行大语言模型已成为许多开发者和科技爱好者的需求，但面对复杂的硬件兼容性和模型量化参数，普通用户往往难以抉择。GitHub 上的开源项目 `llmfit` 旨在解决这一痛点，用户仅需运行一条简单指令，该工具便会...