
让 Agent 跑得快:LLM 推理服务
作者:toy 一个 Agent 工作流,最终的性能瓶颈往往不在路由逻辑、工具调用,而在 LLM 推理本身。同样的模型,同样的硬件,不同的推理框架可以带来 10 倍以上的吞吐差距。这篇文章讨论推理服务的底层机制,以及三个主流框架:vLLM、S...

作者:toy 一个 Agent 工作流,最终的性能瓶颈往往不在路由逻辑、工具调用,而在 LLM 推理本身。同样的模型,同样的硬件,不同的推理框架可以带来 10 倍以上的吞吐差距。这篇文章讨论推理服务的底层机制,以及三个主流框架:vLLM、S...
近日有开发者实测发现,在A100显卡环境下,使用vLLM 0.16.x版本运行Qwen 27B模型时,开启MTP(多标记预测)加速功能并未带来预期的性能提升。尽管配置参数正确且日志显示功能已启用,但在256k长上下文场景下,生成速度仍维持在...

ECS / OSS / CDN / 云数据库一站采购,常用云资源集中选配;新用户与续费均有专场优惠,适合个人开发者与小团队长期使用。
本文详细记录了在内网离线环境下,利用8张华为昇腾910B4 NPU卡部署Qwen3.5-122B大模型的全过程。作者分享了针对ARM架构的Docker镜像选择与传输技巧,提供了完整的docker-compose配置模板,并重点解决了vLLM...
本资源体系化地拆解了大模型(LLM)推理优化的关键技术路径。内容涵盖从基础推理原理、KV Cache机制到PagedAttention、FlashAttention等运行时加速方案;深入剖析了AWQ、GPTQ等模型量化与压缩技术,并提供了v...
随着通义千问Qwen3.5-27B模型的发布,社区在利用vLLM框架进行高性能部署时遇到了配置难题。本文针对官方文档与vLLM文档在启动命令上的不一致性进行了对比分析,重点探讨了Data Parallelism (dp)、专家并行(enab...
开发者For-The-Zero在GitHub发布了一款名为“Kaomera”的趣味AI相机项目。该工具利用vLLM技术,能够实时捕获摄像头画面,并将其转化为富有表现力的颜文字。该项目不仅展示了vLLM在多模态推理上的低延迟性能,也为AI交互...
随着MiniMax将M2.5模型权重上传至Hugging Face,这一国产大模型再次成为焦点。该模型架构未做大幅变动,可直接兼容vLLM进行本地部署。有开发者实测将其应用于后端代码编写,配合OpenCode工具,在开发流程中表现出了极高的...
本文分享了一份深度硬核的《LLM推理优化与部署实战》课程资源,系统性地涵盖了大模型推理的底层原理与工程实践。内容不仅详细解析了KVCache机制、预填充与解码阶段、PagedAttention及FlashAttention等核心加速技术,还...
近日,vLLM开源社区的一项新代码合并请求(PR #34124)引发了业内高度关注。代码信息强烈暗示,智谱AI即将发布的GLM-5模型在底层架构上将全面对齐DeepSeek-V3系列。具体证据显示,GLM-5并非简单的借鉴,而是代码级复用了...
本文由 DeepSeek 技术报告贡献者撰写,通过 Nano-vLLM(仅1200行代码)深入剖析了 vLLM 的核心原理。文章详细讲解了 LLM 推理的流水线架构,包括请求调度、Prefill/Decode 双阶段处理、批处理与延迟的权衡...