sklearn和pandas线性回归

本文通过分析循环发电厂数据集,运用线性回归模型预测电力输出,对比不同特征组合的效果,并采用交叉验证优化模型,最终评估模型准确性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

原文链接

1. 获取数据,定义问题

\qquad 数据的介绍在这: http://archive.ics.uci.edu/ml/datasets/Combined+Cycle+Power+Plant
\qquad 数据的下载地址在这:http://archive.ics.uci.edu/ml/machine-learning-databases/00294/

\qquad 里面是一个循环发电场的数据,共有9568个样本数据,每个数据有5列,分别是:AT(温度), V(压力), AP(湿度), RH(压强), PE(输出电力)。

\qquad 我们的问题是得到一个线性的关系,对应PE是样本输出,而AT/V/AP/RH这4个是样本特征, 机器学习的目的就是得到一个线性回归模型,即:
P E = θ 0 + θ 1 ∗ A T + θ 2 ∗ V + θ 3 ∗ A P + θ 4 ∗ R H PE = \theta_0 + \theta_1 * AT + \theta_2 * V + \theta_3 * AP + \theta_4 * RH PE=θ0+θ1AT+θ2V+θ3AP+θ4RH

\qquad 而需要学习的,就是 θ 0 , θ 1 , θ 2 , θ 3 , θ 4 \theta_0,\theta_1,\theta_2,\theta_3,\theta_4 θ0,θ1,θ2,θ3,θ4这5个参数

2. 整理数据

\qquad 下载后的数据可以发现是一个压缩文件,解压后可以看到里面有一个xlsx文件,我们先用excel把它打开,接着另存为csv格式,保存下来,后面我们就用这个csv来运行线性回归。

\qquad 打开这个csv可以发现数据已经整理好,没有非法数据,因此不需要做预处理。但是这些数据并没有归一化,也就是转化为均值0,方差1的格式。也不用我们搞,后面sklearn在线性回归时会先帮我们把归一化搞定。

3. 用pandas来读取数据

\qquad 用pandas读取数据:

import pandas as pd

data = pd.read_csv('Folds5x2_pp.csv')
print(data.head())  # 默认读取前5行数据

"""
      AT      V       AP     RH      PE
0   8.34  40.77  1010.84  90.01  480.48
1  23.64  58.49  1011.40  74.20  445.75
2  29.74  56.90  1007.15  41.91  438.76
3  19.07  49.69  1007.22  76.79  453.09
4  11.80  40.66  1017.13  97.20  464.43
"""

4. 准备运行算法的数据

\qquad 查看数据维度,开始准备样本特征X,我们用AT, V,AP和RH这4个列作为样本特征,准备样本输出y, 我们用PE作为样本输出。

print(data.shape)  # (9568, 5)

X = data[['AT', 'V', 'AP', 'RH']]
print(X.head())
"""
      AT      V       AP     RH
0   8.34  40.77  1010.84  90.01
1  23.64  58.49  1011.40  74.20
2  29.74  56.90  1007.15  41.91
3  19.07  49.69  1007.22  76.79
4  11.80  40.66  1017.13  97.20
"""

y = data[['PE']]
print(y.head())
"""
       PE
0  480.48
1  445.75
2  438.76
3  453.09
4  464.43
"""

5. 划分训练集和测试集

\qquad 我们把X和y的样本组合划分成两部分,一部分是训练集,一部分是测试集,代码如下:

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=1)
print("Train Data X Shape %s, y Shape %s" % (X_train.shape, y_train.shape))
print("Test Data X Shape %s, y Shape %s" % (X_test.shape, y_test.shape))
"""
Train Data X Shape (7176, 4), y Shape (7176, 1)
Test Data X Shape (2392, 4), y Shape (2392, 1)
"""

\qquad 可以看到75%的样本数据被作为训练集,25%的样本被作为测试集。

6. 运行scikit-learn的线性模型

\qquad 使用scikit-learn的线性模型来拟合。sklearn的线性回归算法使用的是最小二乘法来实现的。代码如下:

from sklearn.linear_model import LinearRegression

model = LinearRegression()
model.fit(X_train, y_train)
# 查看模拟线的截距和权重系数
print(model.intercept_)  # [447.06297099]
print(model.coef_)  # [[-1.97376045 -0.23229086  0.0693515  -0.15806957]]

\qquad 这样我们就得到了在步骤1里面需要求得的5个值。也就是说PE和其他4个变量的关系如下:
P E = 447.06297099 − 1.97376045 ∗ A T − 0.23229086 ∗ V + 0.0693515 ∗ A P − 0.15806957 ∗ R H PE = 447.06297099 -1.97376045 * AT -0.23229086*V +0.0693515*AP-0.15806957*RH PE=447.062970991.97376045AT0.23229086V+0.0693515AP0.15806957RH

7. 模型评价

\qquad 评估我们的模型的好坏程度,对于线性回归来说,我们一般用均方差(Mean Squared Error, MSE)或者均方根差(Root Mean Squared Error, RMSE)在测试集上的表现来评价模型的好坏。

import numpy as np
from sklearn import metrics

# 模型拟合测试集
y_pred = model.predict(X_test)
# 计算MSE     MSE: 20.08040120207389
print("MSE:", metrics.mean_squared_error(y_test, y_pred))
# 计算RMSE    RMSE 4.481116066570235
print("RMSE", np.sqrt(metrics.mean_squared_error(y_test, y_pred)))

\qquad 得到了MSE或者RMSE,如果我们用其他方法得到了不同的系数,需要选择模型时,就用MSE小的时候对应的参数

\qquad 比如这次我们用AT, V,AP这3个列作为样本特征。不要RH, 输出仍然是PE。代码如下:

X = data[['AT', 'V', 'AP']]
y = data[['PE']]
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=1)

model.fit(X_train, y_train)
# 模型拟合测试集
y_pred = model.predict(X_test)

# 计算MSE  MSE: 23.208907470136243
print("MSE:", metrics.mean_squared_error(y_test, y_pred))
# 计算RMSE  RMSE: 4.8175623991948715
print("RMSE:", np.sqrt(metrics.mean_squared_error(y_test, y_pred)))

\qquad 可以看出,去掉RH后,模型拟合的没有加上RH的好,MSE变大了。

8. 交叉验证

\qquad 我们可以通过交叉验证来持续优化模型,代码如下,我们采用10折交叉验证,即cross_val_predict中的cv参数为10:

from sklearn.model_selection import cross_val_predict

X = data[['AT', 'V', 'AP', 'RH']]
y = data[['PE']]
predicted = cross_val_predict(model, X, y, cv=10)
# 计算MSE  MSE: 20.7955974619431
print("MSE:", metrics.mean_squared_error(y, predicted))
# 计算RMSE  RMSE: 4.560219014690314
print("RMSE:", np.sqrt(metrics.mean_squared_error(y, predicted)))

\qquad 可以看出,采用交叉验证模型的MSE比第6节的大,主要原因是我们这里是对所有折的样本做测试集对应的预测值的MSE,而第6节仅仅对25%的测试集做了MSE。两者的先决条件并不同。

9. 画图观察结果

\qquad 这里画图真实值和预测值的变化关系,离中间的直线y=x直接越近的点代表预测损失越低。代码如下:

import matplotlib.pyplot as plt

# scatter 画点
plt.scatter(y, predicted)
# plot 画线
plt.plot([y.min(), y.max()], [y.min(), y.max()], 'k--', lw=4)
plt.xlabel("Measured")
plt.ylabel("Predicted")
plt.show()

\qquad 输出的图像如下:
在这里插入图片描述

<think>好的,我现在需要帮用户解答如何在sklearn中使用多元线性回归模型的问题。首先,用户提到了参考的引用内容,我需要先看一下这些引用内容里有没有相关的信息。 引用[1]提到了使用sklearn进行线性回归的基本流程,包括数据预处理、模型训练、评估可视化。这可能对步骤有帮助。引用[2][3]提到了多项式回归多元线性回归的具体实现,尤其是引用[3]提到了读取数据二元回归的例子,这可能包含示例代码。引用[4]则讨论了正规方程sklearn的实现,可能涉及参数说明。 接下来,我需要整理多元线性回归sklearn中的步骤。通常,使用LinearRegression类,步骤包括数据准备、数据预处理、模型训练、预测评估。用户需要示例代码参数说明,所以得确保代码正确,并且参数部分详细。 在数据准备部分,可能需要生成示例数据或者读取CSV文件,引用[3]中提到了data.csv的例子,可以考虑用pandas读取数据。然后,划分特征目标变量,比如Xy。数据预处理可能包括标准化,但如果是简单的多元线性回归,可能不需要太多预处理,直接用原始数据。不过,如果数据量纲差异大,标准化可能有用,这里可以提到StandardScaler,但用户的问题是多元线性回归,不是多项式,所以可能不需要多项式特征生成。 模型训练部分,使用LinearRegression的fit方法。需要解释fit的参数,比如样本权重,但通常默认即可。然后预测用predict方法。评估指标可以用R²、MSE等,引用[1]里提到了模型评估,所以可以引入这些指标。 参数说明方面,LinearRegression的主要参数有fit_intercept(是否计算截距)、normalize(但注意新版本中可能被移除,改用StandardScaler)、copy_X等。需要详细解释这些参数的作用默认值。 示例代码部分,可以结合引用[3]中的二元回归例子,使用生成的数据或者加载数据。比如,用numpy生成随机数据,或者用pandas读取CSV。然后拆分训练集测试集,训练模型,预测并评估。 可能需要注意的地方:多元线性回归的自变量是多个,所以特征矩阵X应该是二维的,有多个列。目标变量y可以是一维或二维的。在代码中要正确设置Xy的结构。 此外,用户可能需要了解如何解释模型结果,比如系数截距,这可以在代码中通过coef_intercept_属性展示。 最后,生成相关问题,可能包括数据预处理方法、系数解释、正则化应用(如岭回归)、与其他模型的比较等。需要确保问题相关且引导用户进一步学习。 现在需要检查是否有遗漏的步骤或错误,比如是否需要处理多重共线性,但用户的问题是实现方法,可能不需要深入这个方面。参数说明是否准确,比如normalize参数在最新版本中是否还存在,可能需要确认。根据sklearn文档,确实在1.2版本后,normalize被弃用,所以建议用预处理模块,这里需要指出。 总结回答的结构:先步骤说明,再示例代码,然后参数详细解释,最后相关问题。确保代码正确,参数说明准确,并引用相关的引用内容。比如在数据预处理部分引用[1],在示例代码结构参考引用[3]。</think>### 如何在sklearn中使用多元线性回归模型? #### 步骤说明 1. **数据准备** 准备包含多个特征(自变量)一个目标变量(因变量)的数据集。数据可以是CSV文件、NumPy数组或Pandas DataFrame[^3]。 2. **数据预处理** - 若特征量纲差异较大,建议使用`StandardScaler`标准化数据[^1]。 - 划分训练集测试集(例如`train_test_split`)。 3. **模型训练** 使用`LinearRegression`类拟合数据,核心方法为`fit(X_train, y_train)`[^4]。 4. **预测与评估** 用`predict(X_test)`预测结果,并通过R²分数、均方误差(MSE)等指标评估模型性能。 --- #### 示例代码 ```python import numpy as np import pandas as pd from sklearn.model_selection import train_test_split from sklearn.linear_model import LinearRegression from sklearn.metrics import r2_score, mean_squared_error # 1. 数据准备(示例:生成随机数据) data = pd.DataFrame({ 'feature1': np.random.rand(100), 'feature2': np.random.rand(100), 'target': 3 + 2 * np.random.rand(100) + 5 * np.random.rand(100) }) X = data[['feature1', 'feature2']] # 特征矩阵(二维) y = data['target'] # 目标变量(一维) # 2. 划分训练集测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2) # 3. 训练模型 model = LinearRegression(fit_intercept=True) model.fit(X_train, y_train) # 4. 预测与评估 y_pred = model.predict(X_test) print("R²分数:", r2_score(y_test, y_pred)) print("系数:", model.coef_) # 输出各特征系数 print("截距:", model.intercept_) # 输出截距项 ``` --- #### 参数说明 - `fit_intercept`(默认`True`) 是否计算截距项。若数据已中心化,可设为`False`以简化计算[^4]。 - `copy_X`(默认`True`) 是否复制特征数据。设为`False`可节省内存,但可能影响原始数据。 - `n_jobs`(默认`None`) 并行计算线程数。设为`-1`可使用所有CPU核心加速计算。 --- #### 关键输出 - `model.coef_`:特征系数(对应每个特征的重要性)。 - `model.intercept_`:截距项(模型基线值)。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值