14、优化算法中的分类器改进方法探讨

优化算法中的分类器改进方法探讨

在优化算法领域，提高分类器的性能对于提升整体搜索效率和优化效果至关重要。本文将介绍两种相关的方法：TRADE和NENDE，详细阐述它们的原理、实现步骤以及性能表现。

1. TRADE：用于差分进化（DE）的迁移学习方法

在SVC - DE中，分类器学习往往缺乏足够的训练数据。TRADE方法旨在通过引入迁移学习的思想，增加分类器学习时可用的样本数量，从而提高分类器性能，减少评估函数的计算次数，优化搜索效率。

1.1 背景与原理

在DE中，新生成的子代个体优于父代个体的情况较少，且随着搜索的进行，这种趋势更加明显。因此，SVC - DE难以提供足够的正例（子代优于父代）进行学习，只能使用少量训练数据。而迁移学习在目标域样本较少时效果更好，这使得它适用于SVC - DE。

分类器的特征向量在SVC - DE中最初采用父向量和候选子向量的组合，但直接使用DE向量值进行迁移学习效果不佳，因为待优化问题（$f_t$）和迁移学习问题（$f_s$）的问题景观需相似，否则会导致分类器性能下降和负迁移。

TRADE使用适应度函数的一阶导数作为从$f_s$迁移的知识，即：
$V = \left[ \frac{\partial f}{\partial x_1}, \ldots, \frac{\partial f}{\partial x_D}, \frac{\partial f}{\partial u_1}, \ldots, \frac{\partial f}{\partial u_D} \right]$
然而，评估函数的导数通常未知，且计算导数的成本较高，因此通过附近数据估计导数。具体来说