回归分析扫盲：为什么非线性模型不能直接用最优子集选择法

最近有人给我发了篇文章：

 一个问题有一堆变量，我们要选取哪些变量来建模呢？我们来看看这篇文章是怎么做的：

这个方法简单来说就是：对于这一堆变量，我们每次尝试剔除其中一个变量，然后用剩下的变量训练一个新模型。那么，少了一个变量，模型的效果就会有区别，这个区别就是该变量的贡献。最后，我们选出贡献比较大的那些变量，构成我们的最终模型。

这种认识明显是错的。举一个易懂的反例：我们都知道深度模型数据越多上限越高（也就是现在大家说的“涌现”），但同时数据越多也会导致训练难度越高——也就是说，用少量数据训练小模型，和用大量数据训练大模型，在不调参的情况下，很可能前者的效果远远超过后者——如果按这篇文章的说法，那推出的结果就是“大量数据是没用的”，这显然是错的。出现这种现象只是因为少量数据训练的小模型比大量数据训练的大模型下限更高而已。

我这么说之后，有个学经济的同学说我说的不对，这篇文章说的这个方法其实是经济学建模常用的方法“最优子集选择法”——如果你也这么认为，那就说明你既不懂数学上的函数拟合、也不懂经济学上的回归分析。首先，“最优子集选择法”不是用来干这件事的，其次，“最优子集选择法”也不能在这种模型上用。下面我来讲讲为什么。

为什么非线性模型不能用最优子集选择法

大部分人应该是在学习回归分析时接触的最优子集选择法——在使用线性模型进行回归分析时，用这个方法来剔除共线性的解释变量。为什么我们要发现并剔除共线性的变量？因为经济学模型的目的是解释现象，