8×H200部署DeepSeek-V4.1-Flash遇阻:并发8即卡死,GPU满载却零输出
一名开发者在Linux.do论坛发帖求助,称其在8张NVIDIA H200 GPU(2TB内存、模型存放于本地NVMe)上通过vLLM nightly版本部署DeepSeek-V4.1-Flash时遭遇严重性能问题。启动配置包括8路张量并行、1048576最大上下文长度、64并发上限、前缀缓存与推测解码等参数,并挂载了CPU卸载连接器...
核心观点GPU满载却零输出,暴露的正是超长上下文时代的调度瓶颈——算力不再是短板,推理架构设计才是。
阅读全文