大模型在调用用户历史对话、长文档或智能体先前动作时，需要依赖参数之外的记忆机制，但现有系统难以在收集组合相关信息的同时保持上下文简短。斯坦福大学Jure Leskovec团队等研究人员提出Memorilla，一种面向冻结LLM的潜在语义记忆系统。该系统将文档（如用户聊天记录、书籍章节）一次性编码为可复用的嵌入向量，再学习将查询相关信息注入LLM的输入嵌入空间，仅需16个记忆Token即可从整个文档集合中提取所需信息。在涵盖个性化、长文档问答和知识密集型问答的八项基准测试中，Memorilla在五项上击败Mem0、MemoRAG等基线系统。在FactKG数据集上，其准确率达到84.33%，超过全上下文推理的80.43%，同时表示源文档所消耗的Token数量减少108倍。在智能体场景中，Memorilla支持文档数量随任务轨迹不断增长的持续学习。在TextWorld文本游戏环境中，采用该系统的智能体减少了在已探索房间间的无效徘徊，平均成功率从基于完整历史的上下文学习的18.6%提升至24.2%。该成果为冻结LLM在长上下文交互中有效积累和利用知识提供了新路径。
事件分析
技术看点：Memorilla的核心创新在于绕过文本形式的上下文，直接在LLM输入嵌入空间写入记忆，使记忆容量与上下文窗口长度解耦。108倍的Token压缩意味着长上下文推理成本出现量级下降，对按Token计费的API调用场景具备直接经济价值。产业层面，该方向与Mem0、Letta、Zep等记忆中间件构成直接竞争，若开源落地，有机会成为Agent基础设施的标准化组件。值得注意的是，’冻结LLM+外部记忆’路线回避了模型微调成本，同时具备持续学习能力，可视为RAG范式的进一步演进。后续值得关注的走向包括：在更大规模模型上的适配效果、16个Token上限的可扩展性，以及从文本记忆向多模态记忆的延伸可能。
核心观点：与其无限堆砌上下文窗口，不如教会模型如何记忆——Token效率将成为Agent规模化的真正瓶颈
原文链接：Hacker News
