36、变量选择：提升回归器性能的有效策略

变量选择：提升回归器性能的有效策略

1. 变量选择概述

变量选择是降低计算复杂度和提高回归器泛化能力的有效方法之一。其目标主要有两个：一是获取最小的变量集，使其泛化能力与原始变量集相当；二是得到能最大化泛化能力的变量集。围绕这一目标，主要有以下几种变量选择方法：
- 包装法（Wrapper Method） ：该方法以泛化能力作为选择标准，但计算成本较高。不过，随着计算能力的提升，对于大规模问题也逐渐变得可行。它能提供较好的泛化能力，但效率通常不高，且难以测试所有输入变量子集的性能。
- 过滤法（Filter Method） ：使用计算负担较小的选择标准，虽然计算成本低，但存在选择的输入变量子集可能降低回归器泛化能力的风险。
- 组合方法 ：为了缓解包装法计算成本高的问题，考虑将包装法和过滤法结合使用，以及在训练过程中进行变量选择的嵌入式方法。
- 前向选择与后向选择 ：通常对过滤法或包装法执行前向选择或后向选择，也有将前向选择与后向选择结合的方法。
- 基于线性规划支持向量回归器的方法 ：为了加速包装法，提出了使用具有线性核的线性规划支持向量回归器的变量选择方法。训练后，根据权重绝对值对输入变量进行排序，删除绝对值小的变量。但这种方法可能会忽略非线性关系，为解决此问题，可将数据集划分为20个子集，为每个子集训练线性线性规划支持向量回归器，选择在20个子集中经常出现且权重绝对值大的变量用于非线性函数逼近。
- 块删除后向变量选择 ：比传统的后向变