【论文笔记】(TEVC 2022)A Meta-Knowledge Transfer-Based Differential Evolution for Multitask Optimization

一、摘要简介

1.动机与创新

知识迁移在多任务优化问题（MTOPs）中起着非常重要的作用，但是现有的方法因为任务特定知识差异造成效果不佳。因此本文提出一种基于元知识转移（MKT）的差分进化算法（MKTDE）有效求解MTOPs。

2.论文主要内容

(1)元知识：进化搜索过程中可以进化出特定任务知识的知识（获取高质量解的方法）
(2)为增强MKTDE性能，加入两种增强策略。多任务种群采用统一的搜索空间，同时采用精英解传递方案。

3.实验与结论

在MTOP基准问题上与一些最先进和最新的性能良好的算法进行比较，验证了所提出的MKTDE的优越性能。

二、背景与介绍

1.研究背景与问题

• 多任务优化问题解决的关键是要从一个优化任务中获取通用知识解决其他相关优化任务
• 而应用知识转移可以一起解决多个任务，在此类问题上具有更高的效率
• 因此在研究进化多任务优化（EMTO）算法时，有必要将知识学习等传递方法与GA、DE、PSO等结合在一起解决复杂的现实多任务应用

2.EMTO算法的种类

• 基于多因子的方法：MFEA框架，在统一的搜索空间中演化单一种群，以同时解决多个任务，每个任务作为独特的因子影响种群的进化。
• 多种群算法：为每个任务配置采用不同EC算法的种群，采用自编码器在不同种群间传递有效信息，重点研究多种群间的知识转移方法。
  问题：现有的知识转移策略都是将任务的特定知识转移（直接转移高质量解），如果任务之间的特定知识差异较大，会造成效果不佳甚至产生负面影响。
  因此，需要更通用的知识转移方法。本文提出一种基于元知识转移的差分进化算法（MKTDE）。

3.MKTDE简述

• 方法提出的动机：特定任务的知识（高质量解）可能会不相等，但是获取高质量解的方法是相似的。
• 元知识指知识的知识，即高质量解具有的特征、获取的方式方法等。
• 在EC算法中，种群通过不断进化产生高质量的解，不同种群最终产生的解可能不同，但是种群的进化信息可能是相似的，因此一般将个体和种群分布等种群演化信息视为演化高质量解的元知识。
• MKTDE与现有方法的区别：MKTDE侧重于转移如何获取任务高质量解的方法（转移知识的知识），而现有方案侧重于转移相关具体任务的高质量解（转移好知识本身）

三、主要贡献

1.MKTDE流程

MPMT框架：
一种更通用的协同进化框架，同时进化了多个种群，每一个任务对应一个种群，而且每一个任务可以采用不同的进化算法。但是生成维度与数值域均相同的种群，有利于使用转移策略。
具体方法：
将个体的实际搜索空间转化为统一搜索空间：数值压缩到0-1之间，统一搜索空间的维数选择最大问题维数Dmax
个体从统一搜索空间转换回实际搜索空间：
其对应的算法伪代码如下

则MKTDE整体流程如下：

与一般的查分进化算法流程相似，先进行种群初始化，然后交叉变异生成子种群，最后选择新一代种群作为父代继续进化。其中在使用交叉变异方案前先根据学习到的知识得到一个融合种群，对融合种群和父代种群进行交叉变异获取下一代。最后在选择好下一代种群后使用精英解策略，将优秀解转移。

2.元知识转移方法MKT

将种群的分布信息作为元知识进行学习
转移种群计算公式：


Ps为待借鉴种群，Pt为目的种群
首先计算得出两种群的质心，将借鉴种群分布学习到目的种群中与原始个体融合作为新一代个体，融合种群为转移种群Ptr和目标种群Pt的融合
具体例子如下图所示：

学习待借鉴种群的分布信息，将其分布信息移动到目的种群中，并与其原始个体做融合形成新的种群。
算法伪代码如下：

3.精英解转移方案EST

动机：MKT只参考了元知识，没有充分利用高质量解，可以在使用MKT的同时加入EST方案，使元学习和高质量解的学习协同工作，得到更好的结果
具体转移方案：Ps（待借鉴种群）中的个体比Pt（目标种群）中最差个体的适应度高，将Pt中最差个体置换为Ps中的好个体，否则不会置换
效果：可以保证转移后目标种群的平均适应度肯定比之前高
算法伪代码如下：

四、实验结果展示与分析

1.实验配置

在9个常用的MTOP基准问题上与一些最新的性能好的算法做对比实验证实所提算法的有效性
根据不同任务上的最优解是否相同，基准问题可以分为完全CI，部分PI，无交集NI；根据不同任务（2种）相似度，分为高HS，中MS，低LS

评价指标：
20次独立测试后结果的平均值（Mean）和标准值（Std.）
本文规定的score（得分越小，性能越好）

K表示任务数量，R表示独立测试的次数，I′(i, k)表示第i个算法在任务k上标准化后的结果
具体计算：
1.先对每个任务的最优值进行标准化，（均衡同一问题不同任务的贡献，防止因数值不均衡造成的误差）
2.然后将同一问题不同任务标准化后的20次测试的结果进行相加作为该算法在该问题上的评分scorei

2.MKTDE有效性验证

• 与最新的EMTO算法做对比实验，MKTDE在更多基准问题上获得了最好的评分。（Wilcoxon符号秩检验结果）
• MKTDE与MFDE，MTDE和STDE都是采用DE策略，因此MKTDE高精度结果归功于其MKT和EST部分，更加证实了MKTDE的优越性
  

3.消融实验

设计对比组：

• 不含MKT：MKTDE-w/o-MKT
• 不含EST：MKTDE-w/o-EST
• 不含MKT和EST：MKTDE-w/o-MKT-EST

结果分析：MKT和EST都对MKTDE解决问题的能力有贡献，MKTDE与其他三个对比组相比，在更多任务上获得好的结果。

在不同任务上的收敛结果：
MKTDE的收敛总是最快的，删除了MKT和EST的是收敛最慢的，因此实验验证了MKT和EST都可以提高MKTDE的优化结果，删除其中任何一个都会降低其性能

4.参数敏感性分析

MKT执行频次的分析：

• 是否需要每一代都进行一次知识转移。
• 将MKTDE与采用不同频率执行MKT的五个变体作比较
• MKT-n代表每隔n代执行一次

结果分析：
在综合评价上MKTDE是结果最好的，因此本文推荐每生成一代执行一次MKT。
EST执行频次的分析：
做法与MKT参数分析相同，结果也相似

五、讨论与总结

贡献：

• 给出进化搜索中元知识的定义，提出了通过转移元知识来求解MTOPs的MKT方法，也是第一篇提出使用MKT增强EMTO的文章
• 提出了多任务多种群的通用MPMT框架，使用统一的搜索空间，有利于在多个种群间高效的进行知识转移。
• 精英解转移方案EST，只有转移具有积极效果时才转移高质量解，与MKT协同工作，使知识转移更全面
• 将MKT、MPMT、EST和DE结合，得到了完整的MTOP求解算法MKTDE