Google 提出 sleep 框架:让 LLM 在持续学习中保留知识
Google 研究团队提出 sleep 框架,让 LLM 在活跃交互与离线巩固两个阶段间循环,把短期上下文压缩进长期参数。该框架用 MoE 参数扩展、广义知识蒸馏与强化学习模仿实现记忆巩固,并在离线阶段用自生成样本做自我改进。
推荐理由:Google 研究者提出把持续学习拆成清醒交互与离线巩固两阶段,并给出多组基准对比,便于理解灾难性遗忘的一种解法。
Google 研究团队提出 sleep 框架,让 LLM 在活跃交互与离线巩固两个阶段间循环,把短期上下文压缩进长期参数。该框架用 MoE 参数扩展、广义知识蒸馏与强化学习模仿实现记忆巩固,并在离线阶段用自生成样本做自我改进。
推荐理由:Google 研究者提出把持续学习拆成清醒交互与离线巩固两阶段,并给出多组基准对比,便于理解灾难性遗忘的一种解法。