Google Research·· 2 小时前精选AI 评分62
Google 提出 sleep 框架，让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出 sleep 框架，让 LLM 在活跃交互与离线巩固之间交替，把短期上下文写入长期参数。该框架包含记忆巩固与梦境自改进两个阶段，在 BABILong 上实现最高 10M tokens 的长上下文近完美扩展，并在 AIME 24/25 与 HMMT 25 上分别取得 79.2%、69.0% 和 46.1% 的准确率。
推荐理由
Google 提出睡眠式持续学习框架，用记忆巩固与梦境自改进缓解灾难性遗忘，并给出多任务实验数据。
来源：Google Research · research.google