谷歌的“睡眠”技巧或能阻止AI遗忘
谷歌的“睡眠”技巧或能阻止AI遗忘
大型语言模型有一个不可告人的小秘密：它们在训练的那一刻就被冻结在时间里。给它们输入新信息，它们要么立即忘记，要么——如果你强行输入——忘记它们所知道的其他一切。这是灾难性遗忘的典型例子，多年来一直是AI开发中的棘手问题。
10月27日，谷歌研究院提出了一个颇具诗意的解决方案：让模型睡觉。
醒时工作，睡时整理
睡眠框架在题为语言模型需要睡眠的论文中详细描述，它将模型的生命分为两个阶段。在清醒阶段，模型做它通常做的事情——接收输入、处理信息并将其存入短期记忆。然后是睡眠阶段：模型停止接受新任务，转而专注于巩固所学内容。
它是如何做到的？通过结合参数扩展、专家混合记忆块和知识蒸馏。用通俗的话说，模型将脆弱的短期上下文小心地写入长期参数中，而不覆盖现有知识。可以把它想象成安装了一个防遗忘门。
还有一个做梦阶段，模型生成自己的合成训练样本并对其进行过滤，通过强化学习进行练习，以提升其推理和泛化能力。这有点像人类在睡眠中重放事件以从中学习。
零遗忘之梦
实验结果可谓是梦幻般的。据谷歌称，该框架在持续翻译、长上下文理解、事实吸收和数学推理方面超越了大多数基线。它可以消化高达约1000万token的上下文——大约相当于几部小说的长度——并且在对未见语言的多阶段持续学习中，性能几乎不下降。在AIME 24/25等数学基准测试中，它甚至达到了更高的准确率。
如果这在实践中可行，可能意味着令人恐惧的知识截止的终结。模型在发布时不再过时；相反，它们会在使用中增长能力，而不会忘记旧的优势。对于医疗、金融和法律等必须保持更新的领域来说，这可能会改变游戏规则。而且，这比定期从头重新训练模型要划算得多。
关键点
- 谷歌的睡眠框架让模型在睡眠阶段巩固新知识，避免灾难性遗忘。
- 它使用参数扩展、专家混合记忆块和知识蒸馏，将短期上下文写入长期参数。
- 做梦阶段生成合成训练样本，通过强化学习进行自我改进。
- 早期结果显示，它可以处理1000万token，学习新语言而性能不下降，甚至提高数学成绩。
- 如果可扩展，它可能消除知识截止问题，并使持续学习对需要最新信息的行业变得实用。