谷歌研究院提出一种受人类睡眠机制启发的“睡眠”框架，旨在解决大语言模型部署后知识静态化与持续学习中的“灾难性遗忘”问题。该框架让模型在“活跃（清醒）”与“睡眠”两种状态间周期性切换：清醒阶段，模型处理输入信息并将临时内容存入短期记忆组件；睡眠阶段则暂停接收新输入，将计算资源用于记忆巩固与自我提升。睡眠过程包含两个核心环节：一是“记忆巩固”，通过混合专家模块的参数扩展、知识播种（结合同策略蒸馏与基于强化学习的模仿学习）以及突触修剪，将脆弱的短期上下文信息转化为稳定的长期参数；二是“做梦”，通过随机专家激活、合成样本生成与基于梯度筛选的强化学习优化，构建自主自我提升循环。实验结果显示，该框架在满语、卡拉曼语等未见语言的持续翻译任务中实现近乎零性能下降，在BABILong基准上支持长达1000万token的上下文处理，表现优于GPT-4和Titans；在SQuAD事实知识整合任务中取得48.9%的成绩；在AIME 24/25和HMMT 25数学推理基准上分别取得79.2%、69.0%和46.1%的准确率，超过SFT、GRPO等基线方法。研究团队还提供了理论分析，阐明记忆巩固可视为结构化低秩压缩问题，“做梦”机制则通过改善学习几何结构支持更稳健的优化过程。
事件分析
该研究的技术亮点在于将神经科学的记忆巩固机制转化为可工程化的训练流程：低秩专家扩展确保旧知识参数不被覆盖，同策略蒸馏减少训练与推理分布的偏差，随机专家激活则拓宽了合成数据探索的梯度空间，三者共同构成对抗灾难性遗忘的完整闭环。对产业而言，这一范式若成熟，可能改变当前“预训练—部署—冻结”的模型生命周期模式，让已部署模型通过离线巩固周期持续吸收新知识，降低重复训练成本，并为知识截止日期问题提供参数级解法。后续值得关注的方向包括：该框架在更大规模模型上的扩展性验证、睡眠阶段的算力开销与在线服务成本的平衡，以及是否会出现面向持续学习的专用架构和推理服务产品形态。
核心观点：当大模型学会“睡觉”，静态预训练范式或将松动，AI开始拥有可自主进化的完整生命周期。
原文链接：Linux.do
