12、机器学习中RVM - GP方法的原理与性能分析

机器学习中RVM - GP方法的原理与性能分析

在机器学习的符号回归领域，不同的方法有着各自的特点和局限性。本文将详细介绍假设检验、KP方法的局限性，以及一种新的方法RVM - GP，包括其原理、算法步骤和性能表现。

1. 假设检验与KP方法

假设检验设定特定值（如0.04）时，可能得到目标的精确形式。在示例中，目标相对简单，遗传编程（GP）可能经过几代就能找到，而KP方法只需一次迭代。

不过，该示例仅考虑了原始标准（完整解决方案）为空的情况。此时，新标准会直接被式(4.41)给出的结果替代。若原始标准不为空，则与示例有几点不同：
- 特征集将包含原始标准中的其他特征。
- 只有当简化解（reducedSol）质量更高时，才会替换原始标准。为评估质量，需引入根据模型复杂度调整的适应度函数，因为简化解包含的特征数量可能与标准不同。在相关研究中，使用调整后的$R^2$值（式(4.52)）来比较模型，避免被特征数量误导。

此外，KP方法采用的PDCA方法论会导致爬山法，因此设置重启搜索的标准很重要，以避免陷入局部最优。应保留当前标准而非破坏它，所有重启中发现的最佳标准将作为全局解返回。

然而，KP方法存在一些局限性：
- 数据方差矩阵奇异性问题 ：用最大似然估计（MLE）解决线性回归问题时，由于构建模型使用了相似或相同的特征，会出现数据方差矩阵的奇异性问题，导致参数估计困难。
- 假设检验显著性水平调整问题 ：假设检验需要适当调整显著性水平的值。阈值过高会使解的复杂度过度增加，冗余信息影响对解的内在理解；阈值过低则难以找到目标的良好