14、差分进化算法的机器学习方法：TRADE与NENDE算法解析

差分进化算法的机器学习方法：TRADE与NENDE算法解析

在差分进化（DE）算法的优化过程中，如何高效地进行个体选择和减少评估函数的计算次数是关键问题。本文将介绍两种基于机器学习的方法：TRADE（TRansfer learning for DE）和NENDE（k - NN Classifier for DE），并分析它们的原理、性能和应用。

1. TRADE算法：引入迁移学习的差分进化

在SVC - DE算法中，分类器学习可能缺乏足够的训练数据，而增加学习样本数量有助于提高分类器性能。TRADE算法正是基于这一思路，将迁移学习的思想融入到DE算法的分类器学习过程中，旨在预测个体间的相对优越性，减少评估函数的计算次数，提高搜索效率。

1.1 特征向量与知识迁移

SVC - DE中分类器的特征向量是父向量与候选子向量的组合，但直接使用DE向量值进行迁移学习效果不佳，需要问题景观相似或最优解坐标相近。因此，TRADE使用适应度函数的一阶导数作为从源问题（fs）迁移的知识：
[V = \left(\frac{\partial f}{\partial x_1}, \cdots, \frac{\partial f}{\partial x_D}, \frac{\partial f}{\partial u_1}, \cdots, \frac{\partial f}{\partial u_D}\right)]
然而，评估函数的导数通常难以获取，且计算成本较高，所以通过附近数据来估计导数。为了提高学习效率，还会考虑将导数旁边的向量也作为训练数据：
[V = \left(x_1, \cdots, x_d, u_1, \cdots, u_D, \