BetterBench的博客

在多类别增量学习中，模型需要在不访问旧数据的情况下，通过少量代表性样本来学习新类别，同时保留对旧类别的记忆。传统方法（如Herding）通过选择旧数据的代表性样本来缓解遗忘，但这些方法依赖于启发式规则，无法动态调整样本以适应新数据分布。本文提出的Mnemonics方法通过参数化代表性样本，并将其优化嵌入到端到端的训练框架中，解决了这一问题。

在类增量学习中，模型需要在有限的内存预算下，保存旧类别的示例（exemplars），并不断学习新类别。传统方法由于内存限制，只能保存少量示例，导致新旧类别数据不平衡，从而引发遗忘问题。本文提出通过压缩示例图像，增加示例数量，同时保留关键特征，缓解数据不平衡问题。本文提出了一种基于回放的类增量学习（Class-Incremental Learning, CIL）算法，通过利用类别激活图（CAM）生成掩码来压缩旧类别的示例图像，从而在有限的内存预算下保存更多的示例。

在训练过程中，智能体可能会频繁更新模型以适应新的环境布局或任务要求，但可能会忘记早期学到的路径规划技巧。在训练过程中，智能体可能会频繁地更新模型以适应新的局面，但同时也可能忘记早期学到的简单但重要的策略。在训练过程中，智能体可能会频繁更新模型以适应新的市场趋势，但可能会忘记早期学到的有效交易策略。在训练过程中，智能体可能会频繁更新模型以适应新的用户行为，但可能会忘记早期学到的有效推荐模式。在训练过程中，智能体可能会频繁更新模型以适应新的对话场景，但可能会忘记早期学到的有效回答模式。

本文提出在睡眠的非快速眼动（NREM）阶段，存在一个微结构组织，通过不同的睡眠亚状态（小瞳孔和大瞳孔亚状态）分别支持近期记忆和先前记忆的重放，从而实现记忆巩固和整合，同时避免记忆间的相互干扰。

本文提出了一种受大脑皮层-海马回路启发的混合神经网络（CH-HNN），通过结合人工神经网络（ANN）和脉冲神经网络（SNN），模拟大脑中特定记忆和泛化记忆的双重表征机制，有效缓解了持续学习中的灾难性遗忘问题，并展示了在动态环境中的适应性和低能耗潜力。CH-HNN算法通过模拟大脑皮层-海马回路的双重表征机制，利用人工神经网络（ANN）提取泛化规律并生成调制信号，指导脉冲神经网络（SNN）学习特定记忆，同时引入元可塑性机制调节学习速率，从而实现高效的持续学习和知识整合。

本文提出的算法通过寻找较少遗忘方向（LFD）和平衡点（EP），有效地解决了类增量学习中的灾难性遗忘问题。LFD通过约束新参数的更新方向，保持旧任务的稳定性，同时为新任务留出更多的可塑性。EP则通过插值旧参数和新参数，找到一个平衡点，使得在该点上所有已学习任务的性能达到最优。属于正则化的方法。

年份：2021会议：2021ACM本文提出的算法是CO-transport for class-Incremental Learning (COIL)，其核心原理是通过类间语义关系（通过语义映射，将旧类别的分类器映射到新类别的分类器的转换机制）进行跨增量任务的知识传递，关键步骤包括前瞻性传输（Prospective Transport）和回顾性传输（Retrospective Transport）。

MAS算法通过计算每个模型参数对旧任务的贡献度来调整参数的更新。具体来说，它计算每个参数的“重要性权重”（importance weight），这个权重表示该参数对旧任务的贡献程度。在学习新任务时，MAS算法会根据这些重要性权重来调整参数的更新，使得对旧任务贡献较大的参数更新较小，从而减少对旧知识的遗忘。

RWalk算法是一种增量学习框架，它通过结合Fisher信息矩阵和优化路径上参数重要性的累积来平衡对旧任务的记忆保持（避免灾难性遗忘）和新任务的学习能力（减少固执性）。

本文提出的“Learning without Memorizing (LwM)”算法原理是通过结合知识蒸馏损失（LD）和注意力蒸馏损失（LAD）来实现增量学习，关键技术步骤是在训练过程中，利用注意力机制（Grad-CAM）生成的注意力图来保持对基础类别的知识，同时学习新类别，而无需存储任何基础类别的数据。本文算法属于基于正则化的算法。

连续学习（Continual Learning）是一种模拟人类学习过程的机器学习方法，它旨在让模型在面对多个任务时能够连续学习，而不会遗忘已学到的知识。然而，大多数深度学习模型在连续学习多个任务时会出现“灾难性遗忘”（Catastrophic Forgetting）现象。灾难性遗忘指模型在学习新任务时会大幅度遗忘之前学到的任务知识，这是因为模型参数在新任务的训练过程中被完全覆盖。解决灾难性遗忘问题是连续学习研究的核心。

本文提出的DKT（Diverse Knowledge Transfer Transformer）算法原理是通过结合两种知识转移机制（GKAB和SKAB）和双重分类器来解决类别增量学习中的灾难性遗忘问题。关键步骤包括使用注意力机制在不同任务间传递通用和特定任务知识，以及设计一种聚类分离损失函数来区分新旧任务的特征。DKT算法属于基于注意力的架构算法，因为它利用注意力机制来实现知识转移和特征区分。

本文提出的算法名为SpaceNet，其核心原理是利用自适应稀疏训练方法，通过压缩每个任务的稀疏连接到模型中紧凑的神经元数量，从而减少任务间的干扰，并有效利用模型的固定容量来连续学习新任务，同时减少对旧任务的灾难性遗忘。关键步骤包括：1) 连接分配，为新任务在每层网络中随机分配稀疏连接；2) 任务训练，通过自适应稀疏训练优化任务参数，动态改变稀疏连接的分布；3) 神经元保留，基于神经元对当前任务的重要性，保留一部分神经元专门用于该任务。

本文提出的PathNet算法是一种基于进化和学习的神经网络算法，其核心原理是利用嵌入在神经网络中的代理（agents），通过遗传算法（tournament selection genetic algorithm）来发现和进化网络中用于新任务的路径（pathways），实现参数的重用和更新，从而在多任务学习中避免灾难性遗忘，并加速新任务的学习过程。本文算法属于基于进化和学习相结合的算法，它结合了基于架构的进化策略和基于梯度的学习方法。

年份：2024会议：2024CVPR本文提出的算法是“Class Incremental Learning with Multi-Teacher Distillation (MTD)”，其核心原理是通过权重置换、特征扰动和多样性正则化技术来寻找多个具有不同机制的教师模型，以增强对新知识的兼容性并减少灾难性遗忘。该算法属于基于知识蒸馏的类别，因为它通过蒸馏策略将多个教师模型的知识传递给学生模型，以实现类别增量学习。

年份：2021会议：2021CVPR本文提出的算法属于基于知识蒸馏的算法。它通过在不同任务之间构建低维流形，并沿着连接这些流形的测地线进行知识蒸馏，以减少在增量学习过程中对旧任务知识遗忘的问题。

年份：2023会议：2023本文研究的是一种基于正则化的持续学习（Continual Learning, CL）算法，特别地，是一种ℓ2-正则化的CL算法。在第一个任务上使用普通最小二乘法（Ordinary Least Squares, OLS）计算参数。在进入第二个任务时，通过引入ℓ2-正则化来计算新的参数，这个正则化项惩罚模型与第一个任务学习到的参数之间的偏差。输出在第二个任务上学习到的参数，同时控制了对第一个任务的遗忘和对新任务的适应性。

年份：2023会议：2023CVPR本文提出了一种基于回放的连续学习方法，在传统的回放方法中，选择核心集的贪婪的选择策略（即在每一步只考虑最大化当前效用的选择策略）可能会随着时间的推移而退化。贪婪策略可能会在短期内表现良好，但由于没有考虑到对后续步骤的影响，可能会导致长期的负面效果。为了解决这个问题，本文提出了一种方法来建模和正则化每个选择对未来的影响。这意味着在选择样本时，不仅要考虑它们对当前模型性能的影响，还要考虑它们对未来步骤可能产生的长期影响。

年份：2023期刊：本文提出的算法是Genvalues ExplorAtion Regularization-based (GEAR)方法，基于正则化的算法，其核心原理是利用Hessian矩阵的最大特征值来探索先前任务的近似损失函数的几何属性，通过控制计算Hessian矩阵时的数据选择来减少灾难性遗忘。

年份：2023期刊：PMLR引用量：20本文提出了一种名为SPG（Soft-masking of Parameter-level Gradient flow）的算法，通过基于梯度的重要性对网络参数进行软掩码，部分阻断参数更新，以平衡新任务学习与旧任务遗忘，实现连续学习中的知识转移和容量问题解决。

年份：2019会议：2019CPVR本文提出的BiC（）算法通过在CNN的最后一个全连接层后添加一个线性偏差校正层，并使用小规模验证集来估计和校正偏差，从而有效解决了大规模增量学习中的灾难性遗忘和数据不平衡问题。

年份：2020会议： 2019CPVR本文提出了一种解决类别增量学习中灾难性遗忘问题的算法，通过知识蒸馏（KD）保持旧类之间的区分度，并引入权重对齐（WA）方法校正全连接层中偏差的权重，以维持新旧类别之间的公平性。

年份：2023会议： 2023CVPR特征回放本文提出的FeTrIL算法原理是通过结合一个固定的特征提取器和一个伪特征生成器来改善类别增量学习中的稳定性和可塑性平衡。关键步骤包括使用固定的特征提取器获取新类别的特征，以及通过几何平移新类别特征来生成过去类别的伪特征，这一过程仅需要存储过去类别的质心表示。

年份：2021期刊：本文提出了一种名为RMM（Reinforced Memory Management）的动态记忆管理策略（回放+强化学习），该策略利用强化学习优化类增量学习（CIL）中的记忆分配，通过两层级的行动决策来平衡旧类和新类的内存分配，并为每个具体类别分配内存。

年份：2024期刊：arXiv本文提出的SAFE（Slow And Fast parameter-Efficient tuning）算法原理是通过结合慢速（S-PET）和快速（F-PET）参数高效调整策略，在预训练模型（PTMs）的基础上进行持续学习，以平衡模型对新知识的适应性（可塑性）和对旧知识的记忆保持。关键步骤包括：1) 在首次会话中通过转移损失函数显式地从PTMs转移通用知识到慢速学习器；

年份：2022期刊：2022CVPR本文提出了一种用于非样本类增量学习的自维持表示扩展方案，其关键步骤包括动态结构重组策略和主分支蒸馏。动态结构重组策略通过在侧分支中扩展新类的特征学习，同时在主分支中保持旧类特征的稳定；主分支蒸馏则通过在主分支中对新网络与旧特征的不变分布知识进行对齐，以维持对旧类的区分能力。此外，还引入了原型选择机制（从新样本中选择与旧样本最相似的，采用知识蒸馏的方式训练，其他样本采用交叉熵来训练），以减少新旧类特征之间的混淆。本文算法属于基于知识蒸馏的算法。

年份：2024期刊：本文提出了WISE算法，通过设计双参数记忆方案和知识分片机制，实现了在大型语言模型中长期记忆和工作记忆之间的有效桥接，以解决终身模型编辑中的可靠性、泛化性和局部性不可能三角问题。

年份：2021会议：2021ACM本文提出的算法是CO-transport for class-Incremental Learning (COIL)，其核心原理是通过类间语义关系（通过语义映射，将旧类别的分类器映射到新类别的分类器的转换机制）进行跨增量任务的知识传递，关键步骤包括前瞻性传输（Prospective Transport）和回顾性传输（Retrospective Transport）。

年份：2024期刊：本文算法属于基于预训练模型的类别增量学习算法，它结合了基于架构的方法（通过参数高效调整预训练模型）和基于原型的方法（通过使用原型特征进行分类）。

年份：2021会议：2021CVPR本文提出的算法属于基于知识蒸馏的算法。它通过在不同任务之间构建低维流形，并沿着连接这些流形的测地线进行知识蒸馏，以减少在增量学习过程中对旧任务知识遗忘的问题。

年份：2024期刊：本文通过计算和实验方法研究了记忆巩固过程中记忆印迹（engrams）的动态变化和选择性，发现记忆印迹在巩固过程中会经历神经元的加入和退出，并通过抑制性突触可塑性形成选择性记忆。

年份：2021会议：2021CVPR本文提出了一种名为PASS（Prototype Augmentation and Self-Supervision for Incremental Learning）的增量学习方法，通过记忆旧类别的类代表性原型（prototype）并进行原型增强（protoAug），结合自监督学习（SSL）来学习更通用和可迁移的特征，以解决深度神经网络在增量学习中面临的灾难性遗忘问题。

年份：2023期刊：引用量：10本文提出了一种名为EPIE-Net的高效扰动推理和可扩展网络，用于持续学习，通过动态扩展轻量级任务特定解码器来学习新类别，并采用混合标签不确定性策略提高模型的鲁棒性，同时在推理时计算扰动样本的平均概率以提高模型性能。

年份：2024期刊： Nature Neuroscience引用量：14本文提出了一个描述突触可塑性的新框架，该框架强调了不同类型连接间突触共依赖性，解释了抑制性突触如何控制兴奋性突触可塑性，以及邻近突触间的相互作用如何决定长期增强的强度，从而在生物网络中形成快速、稳定且持久的记忆。

年份：2024期刊：提出的算法是一种基于参数正则化的类增量学习（CIL）方法，核心在于通过寻找“较少遗忘方向”（Less Forgetting Direction, LFD）和“平衡点”（Equilibrium Point, EP）来平衡新旧任务之间的关系，减少灾难性遗忘。

年份：2019会议：2019PMLR引用量：435本文提出了一个名为“Learn to Grow”的持续学习框架，通过分离神经结构优化和参数学习/微调两个组件，利用可微分的神经架构搜索来显式地为每个连续任务学习最优的神经网络结构，从而有效克服了深度神经网络在持续学习中的灾难性遗忘问题。

年份：2024会议： 2024本文提出的算法是Classifier Expander（CE），其核心原理是通过两个阶段的训练来克服连续学习中的灾难性遗忘问题。在第一阶段，算法使用知识蒸馏和回放方法限制新任务数据的训练范围，以减少对旧任务的干扰；第二阶段，冻结网络层，只保留输出层，利用所有可用数据重新训练网络，平衡新旧任务的学习性能。本文算法属于基于回放的方法，因为它结合了知识蒸馏（一种基于正则化的技术）和回放技术来增强模型性能。

年份：2021期刊：本文提出了一种名为IL2A的类增量学习算法框架，类别增强（classAug）利用样本间插值生成新类别样本以学习更广泛的特征表示，语义增强（semanAug）基于旧类别的统计信息在特征空间中隐式生成新样本以维持决策边界。此外，算法还结合了知识蒸馏（Knowledge Distillation）技术来进一步优化模型性能。

年份：2019会议：2019CVPR引用量：341本文提出了一种名为动态生成记忆（DGM，生成回放+动态扩展网络结构）的持续学习框架。通过结合真实样本和合成样本的对抗训练，以及通过学习二进制掩码来模拟神经可塑性，从而实现对新任务的学习和对旧任务记忆的保持），DGM算法的核心在于使用神经掩码来模拟神经连接的可塑性，并通过动态网络扩展机制来适应新任务，以在连续学习过程中保持旧知识并有效地整合新知识。

本文介绍了一种名为“prompt tuning”的算法，它通过在学习过程中优化（调整）少量的“软提示”（soft prompts），来调整冻结的语言模型，使其能够执行特定的下游任务。这种方法在大规模模型上的效果与全模型微调（model tuning）相当，同时显著减少了需要调整的参数数量。