推理慢不在语言慢，慢在加载、量化和调度
你可能听过一个直觉：C++ 比 Python 快很多倍，所以 llama.cpp（C++ 写的）应该比 vLLM（Python 写的）快很多倍。实测打脸——同一个模型同一张卡，vLLM 在不少场景下比 llama.cpp 还快。这就是 Ca...
标签索引
llama.cpp
这个标签下有 6 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
拒绝被API按次收费“收割”：手把手教你用开源模型搭建本地AI编程助手
随着OpenAI和微软等巨头推行激进的使用量计费模式，AI编程的成本日益高昂。本文深入探讨了利用本地硬件（如24GB显存显卡或M系列Mac）运行Qwen3.6-27B等开源模型的可行性与实操细节。文章详细介绍了通过Llama.cpp部署模型...
硬核实战：利用Llama.cpp在8卡A100服务器上成功部署DeepSeek V4 Flash
本文作者详细记录了在配备8张NVIDIA A100（单卡40G显存，NVLink互联）的服务器上，本地部署DeepSeek V4 Flash模型的技术路径。鉴于主流工具Ollama尚未提供支持，作者采用了社区开发者nisparks修改的Ll...
被指窃取开源成果并闭源收割：为何开发者呼吁弃用 Ollama？
一篇最新文章强烈呼吁开发者停止使用 Ollama。作者指控 Ollama 本质上仅是对 llama.cpp 的封装，却长期窃取劳动成果、拒绝署名，并在获得融资后转向闭源和云服务，背弃了开源精神。相比之下，原版 llama.cpp 性能更优、...
Ollama资源调度引争议：本地大模型部署的便捷与性能之争
在本地大模型运行工具的选择上，社区引发了关于Ollama与llama.cpp的深入讨论。虽然Ollama凭借极简的安装和上手体验成为入门首选，但部分用户发现其资源调度机制存在不透明和效率问题，导致性能瓶颈。相比之下，直接使用llama.cp...
用SQLite和llama.cpp构建低成本语义搜索引擎
本文详细记录了作者优化海军维护手册语义搜索引擎的实战过程。通过将数据库从昂贵的托管Postgres迁移至轻量级SQLite，并结合llama.cpp与8位量化技术大幅降低内存消耗，作者成功将项目月成本降至2美元以下。此外，引入重排序模型提升...