16、符号回归的高级技术：系数优化与预测区间

符号回归的高级技术：系数优化与预测区间

在符号回归（SR）中，为了使模型能够最优地拟合数据，需要满足多个要求。本文将深入探讨系数优化和预测区间这两个关键方面，介绍相关的技术和方法，并通过具体示例展示其应用。

1. 系数优化

1.1 系数优化的要求

在使用遗传编程（GP）进行符号回归时，最终模型需要满足以下三个要求才能被认为是最优的：
1. 特征选择 ：模型使用输入变量的最优子集。
2. 结构优化 ：模型针对所选变量子集具有最优结构。
3. 系数优化 ：模型针对其结构具有最优系数。

然而，由于遗传编程的随机性，这三个要求往往不能同时得到充分满足。例如，一个模型可能具有最优的结构，但由于系数不合适，无法很好地拟合训练数据。为了解决这个问题，可以采用线性缩放和模因优化技术来更有效地找到系数。

1.2 线性缩放

1.2.1 问题背景

在基于遗传编程的符号回归中，会对模型空间进行并行搜索。在这个过程中，通常使用预测误差度量（如平方误差和，SSE）来评估候选解的适应度。然而，遗传编程需要一个多样化和异质的种群，其中的模型响应尺度可能与目标变量完全不同。使用大多数常见的误差度量时，这些模型会被赋予较低的适应度。

1.2.2 示例说明

以一个单变量回归问题为例，目标变量 $y = 0.3x\sin(6.5x)$。比较两个模型 $M1$ 和 $M2$，$M1$ 是一个常数模型，始终预测为 $0.0$，而 $M2$ 的输出为