10、进化计算的机器学习方法：Vanishing Ideal GP 解析

进化计算的机器学习方法：Vanishing Ideal GP 解析

1. 引言

在进化计算领域，遗传编程（GP）是一种强大的方法，可用于符号回归等任务。然而，GP 存在一个显著问题——膨胀（bloat），即搜索过程中候选函数变得过于复杂，导致搜索效率低下和解决方案不理想。为了解决这一问题，Vanishing Ideal GP（VIGP）方法应运而生。

2. 相关背景及问题提出

BagGP 和 BoostGP 已成功应用于实际任务，如金融数据预测，并且在膨胀效应方面与传统 GP 进行了性能比较。而 GP 在符号回归中虽无需固定函数模型，但会出现膨胀现象。其原因在于 GP 中树的适应度基于数据点的均方误差，只关注函数在数据点上的行为，使得简单函数和复杂函数只要在数据点上取值相同，就被视为等价。

3. 符号回归与 GP 的膨胀问题

• 膨胀现象 ：在 GP 搜索过程中，函数以树的形式随机生成、交配和变异，树会迅速变得复杂，导致搜索效率低且解决方案过于复杂。
• 原因分析 ：树的适应度仅基于数据点的均方误差，简单函数和复杂函数在数据点上表现相同时，被 GP 视为相同。

4. VIGP 的核心思想

• 消失函数的利用 ：存在一些函数在数据点上等价于零（消失函数），但在代数意义上并不为零。VIGP 的关键思想是通过利用这些消失函数，将复杂函数简化为简单函数。
• 消失理想的应用