2025_NIPS_Continual Knowledge Adaptation for Reinforcement Learning

文章核心总结与翻译

一、主要内容

该研究针对持续强化学习（CRL）中存在的灾难性遗忘、跨任务知识迁移低效和可扩展性不足三大核心挑战，提出了一种名为持续知识自适应强化学习（CKA-RL） 的方法。其核心思路是通过积累和高效利用历史知识，在加速新任务学习的同时，减少对已有任务性能的退化。

核心构成

1. 知识向量（Knowledge Vectors）：为每个任务学习独特的知识向量，捕获适配预训练基础模型的增量参数，支持跨任务知识的线性组合与迁移。
2. 持续知识自适应策略（Continual Knowledge Adaptation）：维护任务专属知识向量池，通过可学习的自适应因子动态调整历史知识向量对新任务的贡献权重，同时固定基础模型参数以避免遗忘。
3. 自适应知识融合机制（Adaptive Knowledge Merging）：当知识向量池规模超过阈值时，基于余弦相似度合并最相似的向量，在保留关键知识的前提下降低内存开销，解决可扩展性问题。

实验验证

在Meta-World（机器人操控）、SpaceInvaders（阿塔里游戏）和Freeway（阿塔里游戏）三大基准测试中，CKA-RL与9种主流持续强化学习方法（如CompoNet、CbpNet、PackNet等）进行对比，最终实现：

• 整体性能平均提升4.20%
<