硬核实战：从双路4090到8GB老Mac，探索LLM本地部署的性能极限

这篇文章详细记录了作者在LLM部署方面的硬核折腾经历。从为了运行120B大模型而专门搭建双路4090平台，到转向vLLM框架实现190 TPS的高吞吐，作者不仅对比了Ollama与vLLM的性能差异，还实测了DeepSeek的1M长上下文能力及小模型在8GB内存Mac上的惊人表现。文章核心指出，AI软件优化潜力巨大，即便在有限硬件下也能实现高阶智能，为关注本地大模型部署的开发者提供了极具价值的参考。