标签索引

KV cache

这个标签下有 5 篇文章。按时间回看相关判断与实践记录。

标签精选

LLM架构变革：新研究实现KVCache跨数据中心传输

针对大规模LLM服务中Prefill（预填充）与Decode（解码）阶段因KVCache传输而受限的现状，这篇论文提出了“Prefill-as-a-Service”架构。利用下一代混合注意力模型KVCache体积减小的趋势，该架构将长上下文...

2026-04-221 分钟阅读111 阅读

针对大模型（LLM）推理中KV Cache占用内存过大的行业痛点，最新研究提出了一种“顺序KV压缩”技术。不同于TurboQuant等方法逼近的单向量Shannon极限，该方法利用KV Cache本质上是模型训练语言的“样本”这一特性，创新...

2026-04-211 分钟阅读154 阅读

本文深入探讨了大语言模型（LLM）推理效率的核心瓶颈——KV Cache。文章指出，KV Cache作为模型“记忆”的物理载体，占据了大量GPU显存。通过先进的架构优化，工程师们成功将每个Token的KV Cache大小从300KB大幅压缩...

2026-04-011 分钟阅读102 阅读

谷歌研究院发布TurboQuant压缩算法，直击大模型推理中内存消耗巨大的痛点。该技术能将最占显存的KV Cache压缩至少6倍且保持零精度损失，不仅提升了Gemini等大模型的运行效率，还能加速万亿级向量索引的语义搜索。尽管目前尚处实验室...

2026-03-261 分钟阅读111 阅读

TL;DR 推理才是大模型的真正战场——训练一次，推理百万次。标准Attention的内存带宽成为瓶颈，Flash Attention通过Tiling技术让速度提升5倍；KV Cache让解码快10倍，但长上下文会吃掉几十GB显存；vLLM...

2026-01-0416 分钟阅读610 阅读