Model-based evolutionary algorithms: a short survey 阅读笔记

原创

已于 2022-02-22 10:54:59 修改 · 1.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习

于 2022-02-22 10:54:57 首次发布

本文是对Model-based Evolutionary Algorithms (MBEAs)的概述，探讨了MBEAs在机器学习模型中的应用，包括分布估计、逆模型和代理模型。MBEAs使用ML模型来估计决策空间的分布、建立目标空间到决策空间的逆模型以及为适应度函数创建代理模型，以优化复杂问题。文章指出，虽然MBEAs展现出潜力，但面临计算成本、训练数据需求、维度诅咒和决策变量相关性等问题，需要进一步研究解决。

Model-based evolutionary algorithms: a short survey

1、摘要

本综述通过考虑使用模型的三种不同动机，简要回顾了一些有代表性的MBEAs。

第一，使用模型最常见的动机是估计候选解的分布。

第二，在进化多目标优化中，使用模型的动机之一是建立从目标空间到决策空间的逆模型。

第三，当解决计算量大的问题时，模型可以作为适应度函数的替代品。

2、引言

MBEAs的思想是用 [ML模型](Machine Learning Models) 取代操作算子，候选解被用作每一代从当前环境中采样的训练数据。

基于不同的目的，ML模型可以嵌入EAs的三个主要组件中的任何一个，即复制、适应度评估或选择。具体来说，所采用的机器学习模型可以是回归模型(如高斯过程、人工神经网络)、聚类模型(如K-means)、分类模型(如支持向量机)、降维模型(如主成分分析)等。

尽管有各种各样的技术细节，我们发现在EAs中使用ML模型的主要动机是：(1)在决策空间中建立估计模型，(2)建立逆模型从目标空间映射到决策空间，(3)为适应度函数建立替代模型。

分布估计（Estimation of distribution）指在决策空间中估计分布的动机；逆模型（Inverse modeling）指建立从目标空间到决策空间的逆向模型；代理模型（Surrogate modeling）指为适应度函数构建代理模型。

3、分布估计

EDA 流程
分布估计算法(EDAs)是指通过训练模型和抽样模型在决策空间中估计有希望候选解的分布的MBEAs。

如算法1所示，EDAs仍采用EAs的传统框架，但交叉、变异等复制操作被ML模型所替代。理想情况下，EDAs中的ML模型会随着进化的进行而迭代地细化，并最终收敛到全局最优。

为了将PF近似为MOP，大多数MEDAs采用了特殊的机制来平衡候选解的收敛性和多样性。与大多数MEDAs采用新的选择算子不同，基于规则模型的多目标估计分布算法(RM-MEDA)采用了一种新的繁殖算子[33]。由于在KKT最优性条件(即正则性)下，PS是一个分段连续流形，RM-MEDA使用局部PCA方法降低决策向量的维数，然后在潜在空间中采样新的候选解。

作为最常见的MBEAs, EDAs在过去十年中取得了