26、宽类增量学习与微博数据集构建技术解析

宽类增量学习与微博数据集构建技术解析

宽类增量学习算法相关

在机器学习领域，类增量学习面临着灾难性遗忘的问题，即模型在学习新类数据时会忘记之前学习的内容。传统的机器学习算法，如多层感知机（MLP）、支持向量机（SVM）和深度神经网络（DNN）等，在处理类增量学习时难以有效解决这一问题。

近年来，有不少研究致力于缓解类增量学习中的灾难性遗忘。例如，Mensink等人提出了基于度量学习方法的类增量学习系统，探索了最近类均值分类器（NCM）和k - NN分类器；Ristin等人引入了基于最近类均值（NCM）分类设计决策节点的随机森林。但这些方法在处理高维非线性样本时计算成本高。Kuzborskij等人基于最小二乘支持向量机（LSSVM）解决了这一问题，通过修改传统SVM的目标函数并使用基于距离的正则化器来实现对新类和旧类的性能优化。

还有一些方法，如Li等人在卷积神经网络中使用特征提取和微调自适应技术，结合交叉熵和知识蒸馏损失；Triki等人提出基于自编码器的终身学习系统。然而，这些方法容易陷入局部最小值，且随着新训练数据的不断输入性能会下降。为了缓解灾难性遗忘，iCaRL学习系统通过保留一些旧数据并基于最近类均值（NCM）分类和微调CNN进行表示更新，但由于内存限制需要动态重新选择样本，耗时较长。Kirkpatrick等人使用弹性权重合并（EWC）来缓解神经网络中的灾难性遗忘，通过贝叶斯更新公式找到新任务的解决方案，但在复杂神经网络架构下计算耗时。

而宽学习系统（BLS）为类增量学习带来了新的解决方案。BLS由特征映射层、增强层和输出层组成。它基于随机向量功能链接神经网络（RVFLNN），随机初始化从输入层到增强层的权重，只需计算输入矩阵的伪逆即可找到网络的最优解