Redis之父新作：专为Mac打造DeepSeek V4 Flash原生推理引擎ds4.c
由Redis开发者antirez发布的ds4.c是一款高度专精的本地推理引擎，专为在Apple Metal平台上运行DeepSeek V4 Flash而设计。不同于llama.cpp等通用方案，该项目采用了极致的非对称2-bit量化技术，使...
标签索引
KV缓存
这个标签下有 4 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
RampLabs发布多智能体记忆共享新方案：Token消耗直降65%，推理提速20倍
AI基础设施公司RampLabs发布了名为「Latent Briefing」的研究成果，旨在解决多智能体系统中上下文传输导致的Token膨胀问题。该方法通过直接压缩大模型的KV缓存，利用注意力机制在表示层识别并丢弃冗余信息，而非依赖传统的摘...
英伟达提出KVTC技术：无需修改模型，将LLM推理缓存压缩40倍
针对大规模 LLM 推理中 KV 缓存占用大量显存的问题，英伟达研究人员提出了一种名为 KVTC 的轻量级变换编码器。该技术借鉴经典媒体压缩算法，结合 PCA 特征去相关、自适应量化和熵编码，无需修改模型参数，仅通过简单校准即可实现高效的缓...
英伟达突破LLM推理瓶颈：DMS技术将内存开销降低8倍
英伟达提出了一项名为动态内存稀疏化（DMS）的新技术，旨在解决大模型在进行长链思考时的内存瓶颈问题。通过高效压缩键值（KV）缓存，该技术在仅用1000步训练的情况下实现了高达80%的压缩率。实验表明，DMS允许模型在相同计算预算下生成更多T...