2、符号回归与监督学习基础：原理、应用与误差度量

符号回归与监督学习基础：原理、应用与误差度量

1. 符号回归概述

符号回归（SR）旨在数学表达式空间中寻找一个能代表预测变量与因变量之间关系的模型。目前，基于遗传编程（GP）的学习算法是SR最常用且最成功的方法。GP受自然选择原理启发，通过迭代、世代更替的方式进化候选解群体，具体操作包括选择、交叉、变异和替换。它能同时搜索模型结构、系数和输入变量，无需事先假设。第一代通常随机初始化，以产生有利的初始多样性。用户可通过指定允许的数学运算或模型大小来影响搜索空间的特征。

1.1 遗传编程示例

以一个高度非线性数据集为例，GP运行结果如图所示。许多GP系统会生成一组解，用户可根据拟合优度和模型大小的偏好进行选择。对于该数据集，包含三角函数有助于捕捉周期性行为。由于数据集较小，找到可接受的解只需几秒。图中左侧展示了多个具有最佳精度和长度的模型预测（帕累托前沿），除极短模型外，大多数模型拟合效果良好，并突出显示了三个不同长度/精度权衡的模型预测。

1.2 可解释性与可解释性的重要性

在人工智能和机器学习领域，可解释性和可解释性日益重要。传统机器学习方法常只能识别数据中的相关性，而无法确定因果关系。若能提供可解释和可解释的模型，就可借助领域专业知识具体质疑从数据中学到的模型的因果关系。目前，人们正努力使深度神经网络等黑盒方法更具可解释性，但这本质上很困难且只能在一定程度上实现。而SR能从数据中学习复杂的非线性系统行为，其生成的模型结构透明，可由专家解释和解释。

1.3 SR的独特优势

SR在机器学习方法中占据特殊地位，它能在不事先假设模型结构和系数的情况下识别复杂的非线性关系。应用于适当问题时，SR无