增量学习二十年发展如何?用一篇综述看懂增量学习

机器学习---增量学习 学习方法可以定义为增量学习方法:可以学习新的信息中的有用信息;在面对新数据中包含的新类别时,可以有效地。增量算法经常应用于对数据流或大数据的处理,比如对股票趋势的预测和用户偏好的分析等。维度约减,特征选择,数据表示强化学习,数据挖掘等等。扩展现有模型的知识,即进一步训练模型,它代表了一种动态的学习的技术。适用于监督学习的、集成的、增量学习的、能学习新类的算法。的方式可以有效的利用新增数据来对模型进行训练和进一步完善。增量学习作为机器学习的一种方法,现阶段得到广泛的关注。此外,通过使用增量学习的方法。 阅读详情
AI摘要

增量学习是一种让模型在处理连续数据流时,既能学习新知识又能保留旧知识的技术。它旨在解决深度学习中的灾难性遗忘问题,即新任务训练导致旧任务性能下降。增量学习方法主要包括基于正则化和回放,前者通过约束新任务的损失函数来保护旧知识,后者通过保留和复习旧数据来避免遗忘。虽然有多种方法,但目前仍存在挑战,如任务差异性、计算资源和隐私问题。增量学习在计算机视觉领域有广泛应用,但在自然语言处理和机器人领域尚处早期探索阶段。

作者丨Maple小七@知乎(已授权)

来源丨https://zhuanlan.zhihu.com/p/301117945

编辑丨极市平台

1. 增量学习的概念

1.1 什么是增量学习

人类有终身不断获取、调整和转移知识的能力,虽然在我们的一生中,我们确实倾向于逐渐忘记之前学习过的知识,但只有在极少的情况下,对新知识的学习会灾难性地影响已经学到的知识,这样的学习能力被称为增量学习的能力。具体来讲,增量学习的能力就是能够不断地处理现实世界中连续的信息流,在吸收新知识的同时保留甚至整合、优化旧知识的能力。

增量学习(Incremental Learning)已经有20多年的研究历史,但增量学习更多地起源于认知神经科学对记忆和遗忘机制的研究,因此不少论文的idea都启发于认知科学的发展成果,本文不会探讨增量学习的生物启发,关于面向生物学和认知科学的增量学习综述可见Continual lifelong learning with neural networks: A review(https://arxiv.org/pdf/1802.07569.pdf)

1.2 为什么要增量学习

在机器学习领域,增量学习致力于解决模型训练的一个普遍缺陷:灾难性遗忘(catastrophic forgetting) ,也就是说,一般的机器学习模型(尤其是基于反向传播的深度学习方法)在新任务上训练时,在旧任务上的表现通常会显著下降。造成灾难性遗忘的一个主要原因是传统模型假设数据分布是固定或平稳的,训练样本是独立同分布的,所以模型可以一遍又一遍地看到所有任务相同的数据,但当数据变为连续的数据流时,训练数据的分布就是非平稳的,模型从非平稳的数据分布中持续不断地获取知识时,新知识会干扰旧知识,从而导致模型性能的快速下降,甚至完全覆盖或遗忘以前学习到的旧知识。

为了克服灾难性遗忘,我们希望模型一方面必须表现出从新数据中整合新知识和提炼已有知识的能力(可塑性),另一方面又必须防止新输入对已有知识的显著干扰(稳定性)。这两个互相冲突的需求构成了所谓的稳定性-可塑性困境(stability-plasticity dilemma)。

解决灾难性遗忘最简单粗暴的方案就是使用所有已知的数据重新训练网络参数,以适应数据分布随时间的变化。尽管从头训练模型的确完全解决了灾难性遗忘问题,但这种方法效率非常低,极大地阻碍了模型实时地学习新数据。而增量学习的主要目标就是在计算和存储资源有限的条件下,在稳定性-可塑性困境中寻找效用最大的平衡点。

1.3 增量学习的特点

增量学习和持续学习(Continual Learning)、终身学习(Lifelong Learning)的概念大致是等价的,它们都是在连续的数据流中训练模型,随着时间的推移,更多的数据逐渐可用,同时旧数据可能由于存储限制或隐私保护等原因而逐渐不可用,并且学习任务的类型和数量没有预定义(例如分类任务中的类别数)。

但增量学习目前还没有一个特别清晰的定义,因此比较容易与在线学习,迁移学习和多任务学习等概念混淆,尤其要注意增量学习和在线学习的区别,在线学习通常要求每个样本只能使用一次,且数据全都来自于同一个任务,而增量学习是多任务的,但它允许在进入下一个任务之前多次处理当前任务的数据。上图表现了增量学习和其他学习范式的区别,一般来说,增量学习有如下几个特点:

  • 学习新知识的同时能够保留以前学习到的大部分知识,也就是模型在旧任务和新任务上均能表现良好。

  • 计算能力与内存应该随着类别数的增加固定或者缓慢增长,最理想的情况是一旦完成某一任务的学习,该任务的观测样本便被全部丢弃。

  • 模型可以从新任务和新数据中持续学习新知识,当新任务在不同时间出现,它都是可训练的。

由于增量学习问题的复杂性和挑战的多样性,人们通常只讨论特定设置下的增量学习。以一个图像分类模型为例,我们希望模型具有增量学习新的图像和新的类别的能力,但前者更多地与迁移学习有关,因此任务增量学习(Task-incremental Learning)和难度更高一点的类增量学习(Class-incremental Learning)是深度学习社区当前主要考虑的增量学习范式。本文主要讨论近几年关注度最高的类增量学习范式,更广泛更详细的增量学习介绍可参考专著《Lifelong Machine Learning》(https://www.cs.uic.edu/~liub/lifelong-machine-learning-draft.pdf)

2. 增量学习的实现方式

增量学习是一个连续不断的学习过程,在这个过程中,我们假设模型已经学习了前个任务:,当面对任务和对应的数据时,我们希望可以利用从旧任务中学习到的先验知识帮助的学习,然后更新模型所学习到的知识。这个过程要求我们在当前任务中寻找参数最小化下面的损失函数:

其中旧数据是部分可见或完全不可见的。

增量学习方法的种类有很多种划分方式,本文将其划分为以下三种范式:正则化(regularization)、回放(replay)和参数隔离(parameter isolation)。其中基于正则化和回放的增量学习范式受到的关注更多,也更接近增量学习的真实目标,参数隔离范式需要引入较多的参数和计算量,因此通常只能用于较简单的任务增量学习。关于其他划分方式和不同类别的增量学习的优缺点对比可见A Comprehensive Study of Class Incremental Learning Algorithms for Visual Tasks,(https://arxiv.org/abs/2011.01844)下面仅介绍基于正则化和回放的增量学习的经典方法以及相关进展。

2.1 基于正则化的增量学习

基于正则化的增量学习的主要思想是通过给新任务的损失函数施加约束的方法来保护旧知识不被新知识覆盖,这类方法通常不需要用旧数据来让模型复习已学习的任务,因此是最优雅的一类增量学习方法。Learning without Forgetting (ECCV 2016)(https://arxiv.org/abs/1606.09282)提出的LwF算法是基于深度学习的增量学习的里程碑之作,在介绍LwF算法之前,我们先了解一些最简单的增量学习方法。

上图展示了一个具有多头网络结构的模型学习新任务的不同策略,其中(a)为已经训练好的基于CNN的原始模型,表示不同任务共享的CNN参数,表示与原始任务相关的MLP参数,当加入一个新的分类任务时,我们可以增加一个随机初始化的MLP参数。基于来学习的方法包括如下几类:

  • 微调(Fine-tuning):微调没有旧任务参数和样本的指导,因此模型在旧任务上的表现几乎一定会变差,也就是发生灾难性遗忘。

  • 联合训练(Joint Training):联合训练相当于在所有已知数据上重新训练模型,效果最好,因此通常被认为是增量学习的性能上界,但训练成本太高。

  • 特征抽取(Feature Extraction):特征抽取只训练,共享参数没有得到更新,虽然不影响模型在旧任务上的表现,但不能有效捕获新任务独有的特征表示,在新任务上的表现通常不如人意。

LwF算法是介于联合训练和微调训练之间的训练方式,LwF的特点是它不需要使用旧任务的数据也能够更新。LwF算法的主要思想来自于knowledge distillation(https://arxiv.org/abs/1503.02531),也就是使新模型在新任务上的预测和旧模型在新任务上的预测相近。具体来说,LwF算法先得到旧模型在新任务上的预测值,在损失函数中引入新模型输出的蒸馏损失,然后用微调的方法在新任务上训练模型,从而避免新任务的训练过分调整旧模型的参数而导致新模型在旧任务上性能的下降。算法流程如下图所示,其中用于权衡模型的稳定性和可塑性。

但是,这种方法的缺点是高度依赖于新旧任务之间的相关性,当任务差异太大时会出现任务混淆的现象(inter-task confusion),并且一个任务的训练时间会随着学习任务的数量线性增长,同时引入的正则项常常不能有效地约束模型在新任务上的优化过程。不少研究者围绕着LwF算法的思想提出了很多改进策略,比较有名的包括Encoder Based Lifelong Learning (ICCV 2017)(https://arxiv.org/abs/1704.01920)提出的基于低维特征映射的EBLL算法,以及Overcoming catastrophic forgetting in neural networks (PNAS 2017)(https://arxiv.org/abs/1612.00796)提出的基于贝叶斯框架的EWC算法,EWC算法实际上对应了一个通用的参数约束方法,它引入了一个额外的和参数有关的正则损失:

该损失会根据不同参数的重要性来鼓励新任务训练得到的新模型参数尽量靠近旧模型参数。后续对EWC作出改进了论文也很多,比如Rotate your Networks: Better Weight Consolidation and Less Catastrophic Forgetting (ICPR 2018)。(https://arxiv.org/abs/1802.02950)

概括起来,基于正则化的增量学习方法通过引入额外损失的方式来修正梯度,保护模型学习到的旧知识,提供了一种缓解特定条件下的灾难性遗忘的方法。不过,虽然目前的深度学习模型都是过参数化的,但模型容量终究是有限的,我们通常还是需要在旧任务和新任务的性能表现上作出权衡。近几年,不少研究者也提出了各种类型的正则化手段,有兴趣的话可以参考下面的论文:

Learning without Memorizing (CVPR 2019)

https://arxiv.org/abs/1811.08051

Learning a Unified Classifier Incrementally via Rebalancing (CVPR 2019)

https://openaccess.thecvf.com/content_CVPR_2019/papers/Hou_Learning_a_Unified_Classifier_Incrementally_via_Rebalancing_CVPR_2019_paper.pdf

Class-incremental Learning via Deep Model Consolidation (WACV 2020)

https://arxiv.org/abs/1903.07864

2.2 基于回放的增量学习

从字面意思上来看,基于回放的增量学习的基本思想就是"温故而知新",在训练新任务时,一部分具有代表性的旧数据会被保留并用于模型复习曾经学到的旧知识,因此要保留旧任务的哪部分数据,以及如何利用旧数据与新数据一起训练模型,就是这类方法需要考虑的主要问题。

iCaRL: Incremental Classifier and Representation Learning (CVPR 2017)(https://arxiv.org/abs/1611.07725)是最经典的基于回放的增量学习模型,iCaRL的思想实际上和LwF比较相似,它同样引入了蒸馏损失来更新模型参数,但又放松了完全不能使用旧数据的限制,下面是iCaRL设计的损失函数:

LwF在训练新数据时完全没用到旧数据,而iCaRL在训练新数据时为每个旧任务保留了一部分有代表性的旧数据(iCaRL假设越靠近类别特征均值的样本越有代表性),因此iCaRL能够更好地记忆模型在旧任务上学习到的数据特征。另外Experience Replay for Continual Learning (NIPS 2019)(https://arxiv.org/abs/1811.11682)指出这类模型可以动态调整旧数据的保留数量,从而避免了LwF算法随着任务数量的增大,计算成本线性增长的缺点。基于iCaRL算法的一些有影响力的改进算法包括End-to-End Incremental Learning (ECCV 2018)(https://arxiv.org/abs/1807.09536)和Large Scale Incremental Learning (CVPR 2019)(https://arxiv.org/abs/1905.13260),这些模型的损失函数均借鉴了知识蒸馏技术,从不同的角度来缓解灾难性遗忘问题,不过灾难性遗忘的问题还远没有被满意地解决。

iCaRL的增量学习方法会更新旧任务的参数,因此很可能会导致模型对保留下来的旧数据产生过拟合,Gradient Episodic Memory for Continual Learning (NIPS 2017)针对该问题提出了梯度片段记忆算法(GEM),GEM只更新新任务的参数而不干扰旧任务的参数,GEM以不等式约束的方式修正新任务的梯度更新方向,从而希望模型在不增大旧任务的损失的同时尽量最小化新任务的损失值。GEM方向的后续改进还有Efficient Lifelong Learning with A-GEM (ICLR 2019)和Gradient based sample selection for online continual learning (NIPS 2019)。

Gradient Episodic Memory for Continual Learning (NIPS 2017)

https://arxiv.org/abs/1706.08840

Efficient Lifelong Learning with A-GEM (ICLR 2019)

https://arxiv.org/abs/1812.00420

Gradient based sample selection for online continual learning (NIPS 2019)

https://arxiv.org/abs/1903.08671

另外,也有一些工作将VAE和GAN的思想引入了增量学习,比如Variational Continual Learning (ICLR 2018)指出了增量学习的贝叶斯性质,将在线变分推理和蒙特卡洛采样引入了增量学习,Continual Learning with Deep Generative Replay (NIPS 2017)通过训练GAN来生成旧数据,从而避免了基于回放的方法潜在的数据隐私问题,这本质上相当于用额外的参数间接存储旧数据,但是生成模型本身还没达到很高的水平,这类方法的效果也不尽人意。

Variational Continual Learning (ICLR 2018)

https://arxiv.org/abs/1710.10628

Continual Learning with Deep Generative Replay (NIPS 2017)

https://arxiv.org/abs/1705.08690

总体来说,基于回放的增量学习的主要缺点是需要额外的计算资源和存储空间用于回忆旧知识,当任务种类不断增多时,要么训练成本会变高,要么代表样本的代表性会减弱,同时在实际生产环境中,这种方法还可能存在数据隐私泄露的问题。

3. 增量学习的应用

增量学习的优点是可以随时训练新数据,不需要保留大量训练数据,因此存储和计算开销都比较小,同时还能够有效避免用户的隐私泄露问题,这在移动边缘计算的场景下是非常有价值有意义的。但目前的增量学习依旧是一个很开放的研究问题,很大程度上还处于理论探索阶段,在很多方面学界都没有达成统一的共识,不少论文给出的结论常常会相互冲突,因此增量学习还没有在细分领域中得到大规模的应用和落地。

3.1 计算机视觉

大部分增量学习研究都是面向图像分类任务的,近几年也有不少论文将增强学习推广到了更复杂目标检测和语义分割任务上,下面列举了一些有代表性的工作。

图像分类

A comprehensive, application-oriented study of catastrophic forgetting in DNNs (ICLR 2019)

https://arxiv.org/abs/1905.08101

A Comprehensive Study of Class Incremental Learning Algorithms for Visual Tasks

https://arxiv.org/abs/2011.01844

目标检测

Incremental Few-Shot Object Detection (CVPR 2020)

https://arxiv.org/abs/2003.04668

Incremental Learning of Object Detectors without Catastrophic Forgetting (ICCV 2017)

https://arxiv.org/abs/1708.06977

语义分割

Modeling the Background for Incremental Learning in Semantic Segmentation (CVPR 2020)

https://arxiv.org/abs/2002.00718

Incremental Learning Techniques for Semantic Segmentation (ICCV workshop 2019)

https://arxiv.org/abs/1907.13372

Incremental Learning for Semantic Segmentation of Large-Scale Remote Sensing Data

https://arxiv.org/abs/1810.12448

3.2 自然语言处理

目前增量学习的研究主要还是面向计算机视觉,在自然语言处理领域还没有得到太多关注。一个主要原因是目前自然语言处理社区的注意力主要集中在以BERT为代表的自监督表示学习上,在大规模预训练模型的推广下,增量学习的应用价值就不是太明显了。

LAMOL: LAnguage MOdeling for Lifelong Language Learning (ICRL 2020)

https://arxiv.org/abs/1909.03329

Episodic Memory in Lifelong Language Learning (NIPS 2019)

https://arxiv.org/abs/1906.01076

Continual Learning for Sentence Representations Using Conceptors (NAACL 2019)

https://arxiv.org/abs/1904.09187

Neural Topic Modeling with Continual Lifelong Learning (ICML 2020)

https://arxiv.org/abs/2006.10909

Incremental Natural Language Processing: Challenges, Strategies, and Evaluation (COLING 2018)

https://arxiv.org/abs/1805.12518

3.3 机器人

机器人是增量学习天然的应用场景,因为机器人必须学会通过连续的观察来适应环境并与之互动,增量学习正好能够很好地刻画真实世界的环境,不过机器人领域本身有很多更重要的问题需要解决,因此增量学习的应用也不太多。

Continual Learning for Robotics: Definition, Framework, Learning Strategies, Opportunities and Challenges

https://arxiv.org/abs/1907.00182

Efficient Adaptation for End-to-End Vision-Based Robotic Manipulation (ICML workshop 2020)

https://openreview.net/forum?id=CVN5cZBFFFG

4. 增量学习面临的问题和挑战

4.1 定量评估指标

增量学习的一些常见评估指标包括准确率、记忆能力和迁移能力等,其中记忆能力和迁移能力是衡量模型可塑性和稳定性的指标,但这些指标具体的公式定义却是有争议的。虽然人们已经提出了各种各样的增量学习方法,但是在基准数据集的选取和评估算法有效性的指标上还没有达成广泛的共识。其中一点是增量学习通常需要引入额外的超参数来平衡模型的稳定性和可塑性,这些超参数通常在验证集上被优化,但这本质上违反了增量学习不能获取未来数据的因果律,从而会导致人们作出过于乐观的结论,在真实的生产环境中常常无法重现实验结果。

针对超参数选取的问题,A continual learning survey: Defying forgetting in classification tasks (2020)提出了一种通用的增量学习超参数搜索框架,并设计了一系列相对公平的指标来比较增量学习算法,汇报了一些SOTA增量学习算法的表现。在此基础上,Class-incremental learning: survey and performance evaluation (2020)在多个数据集上对最新的一些增量学习方法进行了综合对比,作者发现在基于正则化的增量学习中,最早提出的LwF算法的表现是相当稳健的,许多后续改进的方法在一些条件下反而不如LwF算法,另外基于数据约束的方法(LwF)实际上通常比基于参数约束的方法(EWC)表现得更好,然而目前人们的研究注意力是偏向后者的。下面是另外一些讨论和提出增量学习评估指标和模型对比的论文,这里不再一一介绍:

A comprehensive, application-oriented study of catastrophic forgetting in DNNs (ICLR 2019)

https://arxiv.org/pdf/1905.08101.pdf

Don’t forget, there is more than forgetting: new metrics for Continual Learning (ICML workshop 2020)

https://marcpickett.com/cl2018/CL-2018_paper_5.pdf

Towards robust evaluations of continual learning

https://arxiv.org/abs/1805.09733

4.2 真正的增量学习

增量学习本身是一个很开放的概念,目前人们研究的基于深度学习的增量学习大多限制在有监督分类、任务式增量和多头网络结构的框架下,这种特定领域的训练方案通常不能直接应用于高度动态化和非结构化的真实环境中,Towards Robust Evaluations of Continual Learning(https://arxiv.org/abs/1805.09733)指出多头设定下的增量学习隐藏了增量学习问题真正的难度。另外,虽然目前人们主要研究的是有监督学习,但探索更接近真实环境的无监督增量学习,以及其他类型的增量方式也是非常有意义的。

目前的增量学习方法通常隐式地要求任务的性质差异不能太大,当任务的性质和难度差异太大时,大部分增量学习方法的性能都会严重下降,甚至低于简单的基线模型。另外,有不少研究表明目前还没有任何一种增量学习方法在任何条件下都能表现良好,大部分增量学习方法对模型结构,数据性质、超参设定都比较敏感,因此探索在所有任务设定中表现更稳健的增量学习方法也是很有意义的。

本文亮点总结

1.基于正则化的增量学习的主要思想是通过给新任务的损失函数施加约束的方法来保护旧知识不被新知识覆盖

2.基于回放的增量学习的主要缺点是需要额外的计算资源和存储空间用于回忆旧知识,当任务种类不断增多时,要么训练成本会变高,要么代表样本的代表性会减弱,同时在实际生产环境中,这种方法还可能存在数据隐私泄露的问题。

3.增量学习的优点是可以随时训练新数据,不需要保留大量训练数据,因此存储和计算开销都比较小,同时还能够有效避免用户的隐私泄露问题,这在移动边缘计算的场景下是非常有价值有意义的。



Continual Learning with Deep Generative Replay笔记 1.引言 人工神经网络容易发生灾难性遗忘。常常通过重放过去任务的真实样本来联合优化网络参数,但这种方法占用内存,可能在现实部署中不顺利。基于脑科学的研究指出,人脑皮层的海马体不仅仅是一个简单的记忆回放缓冲区。记忆痕迹的重新激活会产生相当灵活的结果。记忆的改变和重新激活会导致巩固记忆的缺陷,而共同刺激海马体中的某些记忆痕迹会产生从未经历过的‘’虚假记忆‘’。这些特性表明,海马体与生成模型的并行性比回放缓冲区更好(这里解释为什么用生成式数据替代真实样本,源自于海马体研究的启发) 所以我们提出了一种方法来顺序训练 阅读详情

相关推荐

Incremental Learning vs Online Learning:别再傻傻分不清,一文讲透两者区别与应用场景

本文深入解析了Incremental Learning与Online Learning的核心区别与应用场景。增量学习旨在整合新知识并保留旧知识,解决稳定性与可塑性困境;而在线学习则专注于对连续数据流进行实时更新与预测。文章通过算法原理、代码示例和典型场景对比,帮助读者根据数据节奏与业务目标做出正确的技术选型。

weixin_29182481的博客 236

增量学习(Incremental Learning)小综述

NewBeeNLP公众号出品作者@Maple小七北京邮电大学·模式识别与智能系统1. 增量学习的概念1.1 什么是增量学习人类有终身不断获取、调整和转移知识的能力...

abcdefg90876的博客 2万+

增量学习/Incremental learning

增量学习二十年发展如何?用一篇综述看懂增量学习

xys430381_1的专栏 2508

增量学习简介(incremental learning)

文章目录前言基于正则化的增量学习基于回放的增量学习 前言 个人认为增量学习的定义的边界并不明显,其与其他概念例如:持续学习(Continual Learning)、终身学习(Lifelong Learning),在线学习(online learning),迁移学习(transfer learning)都有交集。 所以我个人粗糙的定义就是:模型基于旧数据学好了参数,但是如今新数据产生了,如何更新模型? 最笨,也最无懈可击的办法就是,将旧数据和新数据混在一起,然后对模型进行继续训练。 现在的一个问题是:能不能不

qq_43391414的博客 1万+

回归模型的增量学习的经典文章和方法

以下内容来自chatgpt:回归模型的增量学习是机器学习的一个重要分支,尤其在处理数据不断到来且无法一次性处理全部数据的场景时,经典方法和文章通常围绕解决灾难性遗忘和模型高效更新展开。

hallo128的博客 1558

【类增量学习综述】 Class-incremental learning:survey and performance evaluation

Class-incremental learning:survey and performance evaluation论文地址:摘要:介绍:相关工作:Task-incremental learning:Online learning:Variational continual learning:Pseudo-rehearsal methods:类增量学习:通用类增量式学习设置:类增量学习的挑战:研究方法:实验评估范围:Regularization approaches:Weight regularizat

梁瑛平的博客 4825

增量学习综述

目录一、数据增量与类别增量二、常见增量学习结构三、增量学习方法分类四、总结及论文链接4.1 总结4.2 相关论文链接无监督增量学习 Unsupervised Class-Incremental Learning Through Confusion.论文详解ICLR 2021基于拓扑图的增量学习方法 论文归纳与详解Few Shot Incremental Learning with Continually Evolved Classifiers论文详解 基于持续进化分类器的小样本类别增量学习CVPR2021T

qq_45022743的博客 5549

逆向实战:基于内存态匿名段分析的 DexProtector 检测绕过策略

本文深入探讨了针对DexProtector加固方案的Frida检测绕过策略。通过分析运行时动态加载到匿名内存段的核心检测逻辑,提出了一套基于内存态分析、定位并转储匿名可执行段,进而通过精准Hook与“等式化替换”等技术实现稳定绕过的实战方法。该方法不仅适用于DexProtector,也对采用类似内存隐藏技术的加固方案具有参考价值。

ik678901的博客 517

最新综述 | 万字长文带你入门增量学习

作者|派派星 编辑|CVHub点击下方卡片,关注“自动驾驶之心”公众号ADAS巨卷干货,即可获取点击进入→自动驾驶之心【全栈算法】技术交流群导读增量学习(Incremental Learning),亦称为持续学习(Continual Learning)或终身学习(Life-Long Learning),是一种机器学习方法,它允许模型通过对新数据进行持续学习而不是重头训练整个模型。这种方法允...

CV_Autobot的博客 2万+

FOC实战笔记:RC吸收电路的设计考量与参数调优

本文深入探讨了FOC驱动器中RC吸收电路的设计与调优。针对MOS管开关过程中的电压尖峰问题,详细阐述了RC电路的钳位与能量吸收原理,并提供了从参数计算、实验调试到布局布线的完整实战指南,旨在帮助工程师有效提升系统可靠性与稳定性。

weixin_29219539的博客 276

SenseVoice 实测,阿里开源语音大模型,识别效果和效率优于 Whisper,居然还能检测掌声、笑声!5分钟带你部署体验

阿里开源语音大模型:语音识别效果和性能强于 Whisper,还能检测掌声、笑声、咳嗽等

u010522887的专栏 4万+

增量学习方法分类及近两年论文汇总

目录 一、数据增量与类别增量 二、常见增量学习结构 三、增量学习方法分类 四、总结及论文链接 4.1 总结 4.2 相关论文链接 一、数据增量与类别增量 增量学习任务分为,数据增量和类别增量。数据增量过程中,增量任务和原始任务之间没有新类别出现,两者具有相同的类别。 本文对广义和狭义的类别增量进行了明确的定义,对于增量任务,具有如下的定义: C表示所有的类别 Tt表示增量任务t之中的类别,相当于C的子集 DcC表示所有类别C中子类c的样本 DtT表示增量任务t中类别

祥瑞的技术博客 1万+

Cadence PCB SI仿真实战:如何手动添加VIA过孔模型提升板级链路精度

本文详细介绍了在Cadence PCB SI仿真中如何手动添加VIA过孔模型以提升DDR4/5设计的精度。通过参数化建模和三维全波建模技术,工程师可以有效解决高速设计中的信号完整性问题,显著降低仿真误差。文章还提供了实战案例和常见问题解决方案,帮助优化板级链路性能。

weixin_28683391的博客 412

【机器学习】增量学习(Incremental Learning)小综述

1. 增量学习的概念1.1 什么是增量学习人类有终身不断获取、调整和转移知识的能力,虽然在我们的一生中,我们确实倾向于逐渐忘记之前学习过的知识,但只有在极少的情况下,对新知识的学习会灾难性地影响已经学到的知识,这样的学习能力被称为增量学习的能力。具体来讲,「增量学习的能力就是能够不断地处理现实世界中连续的信息流,在吸收新知识的同时保留甚至整合、优化旧知识的能力。」增量学习(Incremental ...

fengdu78的博客 5721

ArcGIS Pro 3.0 加载天地图WMTS服务,解决偏移问题的保姆级教程(附最新Key申请流程)

本文详细介绍了在ArcGIS Pro 3.0中精准加载天地图WMTS服务的全流程,包括最新Key申请流程、解决地图偏移问题的关键配置步骤以及常见问题排查方法。通过设置`esri`参数和统一坐标参考,确保地理数据与天地图底图精确匹配,提升GIS空间分析的准确性。

weixin_28713947的博客 310

HFSS之天线设计实例

目录 矩形微带天线 微带天线尺寸计算 微带线的3个关键指标如以下 HFSS设计流程 新建工程并设置求解类型 天线建模 添加求解设置和扫频设置 天线建模步骤 谐振点查看 优化设计 查看天线分析结果 3D增益 Smith圆图 S参数 驻波比 ​ 平面增益 方向性系数\增益\轴比 矩形微带天线 微带天线的概念首先是由Deschamps于1953年提出来的,经过20年左右的发展,Munson和Howell于20世纪70年代初期制造出来了实际的微带天线 一个简单的...

ASH_GUARDIAN的博客 1万+

增量学习~~

这里将从高效标签的角度出发,以一种崭新的视角,带领大家从零开始踏入增量学习领域。增量学习(Incremental Learning),亦称为持续学习(Continual Learning)或终身学习(Life-Long Learning),是一种机器学习方法,它允许模型通过对新数据进行持续学习而不是重头训练整个模型。这种方...

weixin_30219613的博客 2953

基于非接触式微波雷达设计的睡眠监控系统_323

本项目设计了一种基于非接触式微波雷达的睡眠监控系统,通过高精度的生理信号采集与分析,帮助用户全面了解自身的睡眠状态和健康状况。系统采用60GHz频段的R60ABD1毫米波雷达模块,实现对人体呼吸频率、心率、活动状态、体动幅度等参数的非接触式测量;结合MLX90614红外体温传感器,能够实时监测人体体温。此外,系统通过蜂鸣器报警和数据上云功能,及时向用户反馈异常生理指标,确保健康风险早期预警。数据通过ESP8266-WIFI模块上传至华为云物联网平台,用户可通过Android手机APP和Windows上位机远

503

灾难性遗忘/增量学习的研究现状

灾难性遗忘,是指在新的数据集上训练模型,会遗忘掉旧数据上学习到的知识,在旧数据上测试会发生很大的掉点

Talk is cheap, show me the code! 1万+

基于Harness Engineering构建AI Agent的全自动化CI_CD流水线

AI Agent的CI/CD是指对Agent的全生命周期资产(代码、Prompt、RAG知识库、模型权重、工具配置)进行持续集成、持续测试、持续发布和持续观测的自动化流程,核心目标是在保障发布质量的前提下,最大化提升Agent的迭代效率。

AI云原生与云计算技术学院 625

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

上一篇: 99%算法工程师不知道的if/else优化技巧
下一篇: 一张30年前的大学排行榜!
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值