多重共线性问题

前言

1、回归类算法（一般线性回归、逻辑回归或者存活分析）都要考虑多个预测因子，故需要考虑多重共线性（multicollinearity）问题。
2、在其他算法中，如决策树和Bayes，DT的建模过程是逐步递进，每次拆分只有一个变量参与，这种建模机制含有抗多重共线性干扰的功能；Bayes假定变量之间是相互独立的， 因此不考虑多重共线性问题。
3、对于多重共线性问题，需要辩证考虑，既不可坐视不管，也不可全然否定。

1、共线性的原理部分

假设有k个自变量的多元线性回归模型
$$y={\beta }_0+{\beta }_1{x}_1+..+{\beta }_k{x}_k+\epsilon =X\beta +\epsilon$$
其中，误差项$\epsilon$服从$N(0,{\sigma }^2)$。
当矩阵$X$是满秩时利用最小二乘法进行参数估计得
β ^ = ( X T X ) − 1 X T