谷歌的睡眠技巧：学习而不遗忘的AI

谷歌的睡眠技巧：学习而不遗忘的AI

大型语言模型有一个不光彩的秘密：它们在被发布的那一刻就被时间冻结了。给它们喂新信息，它们要么在一次对话后就忘记，要么——如果你强行塞入——忘记它们已经知道的一切。这是一个经典的权衡，称为灾难性遗忘，多年来一直是AI研究者们的眼中钉。

10月27日，谷歌研究提出了一个听起来几乎太像人类的解决方案：让模型睡觉。

醒时工作，睡时整理

这篇直白地题为“语言模型需要睡眠”的论文概述了一个框架，将模型的生命分为两个阶段。在清醒阶段，模型接收新输入并将其存储在短期记忆中。然后是睡眠阶段：模型停止接收任务，专注于将这些记忆巩固为长期参数。

神奇之处在于它如何避免覆盖旧知识。谷歌的方法使用参数扩展、专家混合记忆块和知识蒸馏，将脆弱的短期上下文写入模型的长期权重中，而不破坏已有的内容。甚至还有一个做梦阶段，模型生成自己的合成训练样本，并通过强化学习练习推理——有点像你打盹时的大脑锻炼。

与经常引发灾难性遗忘的传统微调相比，这种睡眠式巩固就像一个防遗忘闸门。模型变得更聪明，而不会失去旧的优势。

零遗忘的梦想

实验数据很有说服力。根据论文，该框架在持续翻译、长上下文理解、事实吸收和数学推理方面优于大多数基线。它可以消化高达1000万token的上下文，并且在对未见语言的多阶段持续学习中，性能几乎不下降。它甚至在AIME 24/25等数学基准测试中得分更高。

如果这在实践中可行，可能意味着“知识截止”时代的终结。模型不会在发布的那一刻就过时——它们会在工作中持续学习而不会忘记训练内容。对于医疗、金融和法律等保持更新不可妥协的行业来说，这比定期重新训练要便宜得多。

当然，该框架仍处于实验阶段。但方向是明确的：也许AI的下一个重大飞跃不是更大的模型——而是给它们一个良好的夜间休息。

关键点：

• 谷歌研究的“睡眠框架”让模型在睡眠阶段巩固新知识，避免灾难性遗忘。
• 该模型使用参数扩展、专家混合和蒸馏，将短期记忆写入长期权重。
• 早期结果显示，在持续学习任务上几乎零遗忘，并在数学基准测试中表现提升。
• 如果实用化，这可能消除“知识截止”问题，使模型无需重新训练即可持续学习。