juggle_gap_horse的博客

这篇文章非常有意思，在代表自监督领域的对比学习方法中提出了有监督的对比学习框架。 Introduction 交叉熵损失函数有缺乏对嘈杂标签鲁班性，差边距等缺点，但是很多替代方案始终不能泛用地替代它。此工作中提出了一种监督学习的损失，通过利用标签信息建立对比自监督信息。在将不同实例拉开的同时还使来自同一类的更紧密地结合在一起。看图一目了然： 左边是传统的自监督，可以看到在嵌入空间内同类样本也被拉开了，理论上我们希望同类的特征应该紧靠一起，这就是作者要这么做的原因把。 有监督对比学习的正负实例的选择策略也不同：

1.引言 人工神经网络容易发生灾难性遗忘。常常通过重放过去任务的真实样本来联合优化网络参数，但这种方法占用内存，可能在现实部署中不顺利。基于脑科学的研究指出，人脑皮层的海马体不仅仅是一个简单的记忆回放缓冲区。记忆痕迹的重新激活会产生相当灵活的结果。记忆的改变和重新激活会导致巩固记忆的缺陷，而共同刺激海马体中的某些记忆痕迹会产生从未经历过的‘’虚假记忆‘’。这些特性表明，海马体与生成模型的并行性比回放缓冲区更好（这里解释为什么用生成式数据替代真实样本，源自于海马体研究的启发） 所以我们提出了一种方法来顺序训练

Learning Without ForgettingLWF简介方法对比LWF算法流程总结实现 LWF简介 LWF是结合知识蒸馏(KD)避免灾难性遗忘的经典持续学习方法。本质上是通过旧网络指导的输出对在新任务训练的网络参数进行平衡，从而得到在新旧任务网络上都表现较好的性能。 方法对比 a.从头开始训练 b.微调：在旧任务的网络基础上以较小的学习率学习新任务 另一种意义上的Intializiation？ c.联合训练：使用所有任务的数据一起训练 d.特征提取：将旧任务的参数固定作为特征提取器，添加新的层