英伟达突破LLM推理瓶颈：DMS技术将内存开销降低8倍

英伟达提出了一项名为动态内存稀疏化（DMS）的新技术，旨在解决大模型在进行长链思考时的内存瓶颈问题。通过高效压缩键值（KV）缓存，该技术在仅用1000步训练的情况下实现了高达80%的压缩率。实验表明，DMS允许模型在相同计算预算下生成更多Token，从而在不增加延迟和内存负载的前提下，显著提升了模型的推理准确率和逻辑能力。