标签索引

vLLM

这个标签下有 12 篇文章。按时间回看相关判断与实践记录。

标签精选

让 Agent 跑得快：LLM 推理服务

作者：toy 一个 Agent 工作流，最终的性能瓶颈往往不在路由逻辑、工具调用，而在 LLM 推理本身。同样的模型，同样的硬件，不同的推理框架可以带来 10 倍以上的吞吐差距。这篇文章讨论推理服务的底层机制，以及三个主流框架：vLLM、S...

2026-05-3090 分钟阅读183 阅读

近日有开发者实测发现，在A100显卡环境下，使用vLLM 0.16.x版本运行Qwen 27B模型时，开启MTP（多标记预测）加速功能并未带来预期的性能提升。尽管配置参数正确且日志显示功能已启用，但在256k长上下文场景下，生成速度仍维持在...

2026-05-091 分钟阅读282 阅读

本文详细记录了在内网离线环境下，利用8张华为昇腾910B4 NPU卡部署Qwen3.5-122B大模型的全过程。作者分享了针对ARM架构的Docker镜像选择与传输技巧，提供了完整的docker-compose配置模板，并重点解决了vLLM...

2026-04-061 分钟阅读609 阅读

本资源体系化地拆解了大模型（LLM）推理优化的关键技术路径。内容涵盖从基础推理原理、KV Cache机制到PagedAttention、FlashAttention等运行时加速方案；深入剖析了AWQ、GPTQ等模型量化与压缩技术，并提供了v...

2026-03-161 分钟阅读246 阅读

随着通义千问Qwen3.5-27B模型的发布，社区在利用vLLM框架进行高性能部署时遇到了配置难题。本文针对官方文档与vLLM文档在启动命令上的不一致性进行了对比分析，重点探讨了Data Parallelism (dp)、专家并行（enab...

2026-03-031 分钟阅读112 阅读

开发者For-The-Zero在GitHub发布了一款名为“Kaomera”的趣味AI相机项目。该工具利用vLLM技术，能够实时捕获摄像头画面，并将其转化为富有表现力的颜文字。该项目不仅展示了vLLM在多模态推理上的低延迟性能，也为AI交互...

2026-02-231 分钟阅读146 阅读

随着MiniMax将M2.5模型权重上传至Hugging Face，这一国产大模型再次成为焦点。该模型架构未做大幅变动，可直接兼容vLLM进行本地部署。有开发者实测将其应用于后端代码编写，配合OpenCode工具，在开发流程中表现出了极高的...

2026-02-141 分钟阅读451 阅读

本文分享了一份深度硬核的《LLM推理优化与部署实战》课程资源，系统性地涵盖了大模型推理的底层原理与工程实践。内容不仅详细解析了KVCache机制、预填充与解码阶段、PagedAttention及FlashAttention等核心加速技术，还...

2026-02-111 分钟阅读138 阅读

近日，vLLM开源社区的一项新代码合并请求（PR #34124）引发了业内高度关注。代码信息强烈暗示，智谱AI即将发布的GLM-5模型在底层架构上将全面对齐DeepSeek-V3系列。具体证据显示，GLM-5并非简单的借鉴，而是代码级复用了...

2026-02-091 分钟阅读317 阅读

本文由 DeepSeek 技术报告贡献者撰写，通过 Nano-vLLM（仅1200行代码）深入剖析了 vLLM 的核心原理。文章详细讲解了 LLM 推理的流水线架构，包括请求调度、Prefill/Decode 双阶段处理、批处理与延迟的权衡...

2026-02-021 分钟阅读153 阅读