北京大学、清华大学与DeepSeek-AI联合研究团队发布了名为DualPath的全新推理系统,旨在解决智能体工作负载下大语言模型面临的KV-Cache存储I/O带宽受限难题。在解耦架构日益普及的背景下,海量KV-Cache数据的加载速度严重制约了多轮对话的性能。该研究通过架构创新打破了这一存储瓶颈,显著提升了推理效率,为未来高性能AI Agent的应用落地扫清了关键技术障碍。
北京大学、清华大学与DeepSeek-AI联合研究团队发布了名为DualPath的全新推理系统,旨在解决智能体工作负载下大语言模型面临的KV-Cache存储I/O带宽受限难题。在解耦架构日益普及的背景下,海量KV-Cache数据的加载速度严重制约了多轮对话的性能。该研究通过架构创新打破了这一存储瓶颈,显著提升了推理效率,为未来高性能AI Agent的应用落地扫清了关键技术障碍。