跳到正文
Google Research·· 24 天前精选AI 评分60

Google 提出 sleep 框架:让 LLM 在持续学习中保留知识

The sleep framework: A new way for LLMs to retain knowledge in continual learning

AI 导读

Google 研究团队提出 sleep 框架,让 LLM 在活跃交互与离线巩固两个阶段间循环,把短期上下文压缩进长期参数。该框架用 MoE 参数扩展、广义知识蒸馏与强化学习模仿实现记忆巩固,并在离线阶段用自生成样本做自我改进。

推荐理由

Google 研究者提出把持续学习拆成清醒交互与离线巩固两阶段,并给出多组基准对比,便于理解灾难性遗忘的一种解法。

来源:Google Research · research.google