实战解析：在 8X B300 集群上部署 Kimi K3，启用 DSpark 加速

近日，有开发者在技术社区分享了 Moonshot AI 最新大模型 Kimi-K3 的高性能私有化部署实战记录。该项目基于一台配备 8 张 B300 GPU、4TB 系统内存及 16TB NVMe SSD 的服务器进行测试。由于 Kimi K3 架构的特殊性，部署过程并未使用通用版本，而是采用了 `sgl-project/sglang` 的 `kimi-k3` 特定分支，并配合 RadixArk 开发的 Kimi-K3-DSpark 草稿模型以实现加速。在安装环节，操作者需通过 nightly 索引安装依赖，手动配置 `ffmpeg` 及 `PyNvVideoCodec` 以支持图像解码，并应用了 Docker 镜像中的补丁。启动配置方面，该方案采用了低延迟策略，开启了对称内存管理（`symm-mem`）、分层缓存以及 NCCL NVLS 通信优化。核心亮点在于结合了 DSpark 投机采样算法与线性回放 SSM（Speculative ReplaySSM）技术，通过精细调优参数大幅提升推理吞吐量。这为在高端 GPU 集群上运行 Kimi K3 提供了极具参考价值的配置范例。

事件分析

💡 核心观点：Kimi K3 的落地验证了 SGLang 在复杂推理场景的优势，高性能推理已转向算法级调优与软硬协同的精细化工程。