什么是多重共线性？

最新推荐文章于 2025-08-27 16:02:03 发布

原创最新推荐文章于 2025-08-27 16:02:03 发布 · 1.5k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #人工智能 #机器学习 #python

人工智能算法常见概念专栏收录该内容

58 篇文章

订阅专栏

一、多重共线性概念

多重共线性（Multicollinearity）是统计学和数据分析中的一个概念，它指的是在多元回归模型中，两个或多个解释变量（特征）之间存在较高的线性相关性。当多重共线性发生时，它会影响模型的稳定性和解释能力，使得模型参数的估计变得不稳定和不准确。

二、多重共线性的成因

1、数据内在特性：某些领域内的数据自然就会存在高度相关性，例如，一个地区的房价与地税往往存在正相关。

2、数据收集方式：如果数据是通过同一测量过程或相似的测量工具收集的，那么这些变量可能会表现出共线性。

3、变量构造：在特征工程过程中，可能会因为人为因素而不小心创建出高度相关的特征。

三、多重共线性的表现

1、参数估计的不稳定：高度相关的特征会导致回归系数的估计变得不稳定，即使是微小的数据变化也可能导致估计值的大幅波动。

2、统计显著性降低：多重共线性可能导致回归系数的统计显著性降低，使得原本重要的特征看起来不再显著。

3、模型预测能力下降：由于参数估计的不稳定，多重共线性可能导致模型的预测能力下降。

4、方差膨胀因子（VIF）增加：方差膨胀因子是衡量多重共线性严重程度的一个指标，VIF值大于10通常被认为是存在严重的多重共线性。

四、多重共线性的检测

1、相关系数矩阵：检查变量之间的相关系数，高相关系数可能表明存在多重共线性。

2、方差膨胀因子（VIF）：计算每个变量的VIF，VIF值越大，表示多重共线性越严重。

3、容忍度（Tolerance）：容忍度是VIF的倒数，值越小表示多重共线性越严重。

4、条件指数：通过计算条件指数来评估特征之间的相关性。

五、python检测多重共线性

1、VIF

import pandas as pd
from statsmodels.stats.outliers_influence import variance_inflation_factor

# 假设df是包含数据的DataFrame
df = pd.DataFrame({
    'feature1': [1, 2, 3, 4, 5],
    'feature2': [5, 4, 3, 2, 1],
    'feature3': [2, 4, 6, 8, 10]
})

# 选择预测变量
X = df[['feature1', 'feature2', 'feature3']]

# 计算每个预测变量的VIF
vif_data = pd.DataFrame()
vif_data["feature"] = X.columns
vif_data["VIF"] = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])]

print(vif_data)

输出结果将显示每个特征的VIF值。如果VIF值大于5或10，可能需要考虑从模型中移除一些高度相关的特征。当然，笔者并不推荐直接移除，因为如果某个特征对业务很重要，即便VIF值很高，为了模型的业务表现，我们仍然会保留这些特征。

2、相关系数矩阵

import pandas as pd
import seaborn as sns

# 假设df是一个包含数据的DataFrame
# 假设df是包含数据的DataFrame
df = pd.DataFrame({
    'feature1': [1, 2, 3, 4, 5],
    'feature2': [5, 4, 3, 2, 1],
    'feature3': [2, 4, 6, 8, 10]
})

# 计算相关系数矩阵
corr_matrix = df.corr()

# 打印相关系数矩阵
print(corr_matrix)

# 可视化相关系数矩阵
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm')
plt.show()

在上述代码中，corr()方法计算了DataFrame中所有变量的相关系数。heatmap()函数用于生成相关系数矩阵的热图，其中annot=True显示了矩阵中的相关系数数值，cmap='coolwarm'指定了颜色映射。如果热图中有变量的相关系数非常高（例如，大于0.8或小于-0.8），则可能表明它们之间存在多重共线性。

3、条件指数

import numpy as np
from scipy.linalg import svd

# 假设X是包含自变量的矩阵
X = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])

# 计算奇异值
s = svd(X, compute_uv=False)

# 计算条件指数
k = len(s)
condition_index = np.max(s) / np.min(s)

print("Condition Index:", condition_index)

如果条件指数大于30，这可能表明存在多重共线性问题，需要进一步分析或采取相应的措施，如删除一些高度相关的变量或使用正则化方法。