RampLabs发布多智能体记忆共享新方案：Token消耗直降65%，推理提速20倍

AI基础设施公司RampLabs发布了名为「Latent Briefing」的研究成果，旨在解决多智能体系统中上下文传输导致的Token膨胀问题。该方法通过直接压缩大模型的KV缓存，利用注意力机制在表示层识别并丢弃冗余信息，而非依赖传统的摘要或检索技术。测试结果显示，该方法能使Worker模型的Token消耗最高降低65%，在中等长度文档处理中节省中位数达49%，且整体准确率提升约3%。此外，新算法将压缩耗时缩短至约1.7秒，相比原始算法提速20倍，显著提升了长文档和复杂推理任务的效率。