8G显存可跑！两款支持Claude Code与工具调用的本地小模型实测

近日，开发者社区Linux.do发布了一项关于消费级硬件本地部署大模型的技术实测报告。该报告重点评估了两个经过蒸馏处理的轻量化模型：Gemma-4-12B-agentic-fable5与Qwythos-9B-Claude-Mythos-5。这两款模型均基于“fable5”进行蒸馏，核心特性在于保留了支持工具调用（Function Calling）与AI Agent智能体协作的能力，同时大幅降低了硬件门槛。实测显示，仅需8GB显存的消费级显卡，配合llama.cpp推理框架，用户即可在本地部署这些模型，并将上下文窗口上限拉升至64K。在针对开发者工具Claude Code的兼容性测试中，两款模型表现出了显著差异：Gemma-4-12B-agentic-fable5虽然推理速度较慢，但稳定性极佳，能够持续运行超过一小时而不中断，适合长时间任务处理；相比之下，Qwythos-9B-Claude-Mythos-5虽然参数量更小，但在运行过程中容易出现任务中断的情况。此次测试为开发者在有限算力下构建本地化编程辅助环境和自动化Agent提供了极具参考价值的数据样本。

事件分析

💡 核心观点：8G显存即可运行具备Agent能力的编程模型，标志着高性能AI正突破算力垄断，走向本地普惠与隐私计算。