机器学习之linear_model(普通最小二乘法手写+sklearn实现+评价指标)

原创

已于 2022-07-09 10:49:06 修改 · 10w+ 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #python

于 2020-06-25 21:34:39 首次发布

本文详细介绍如何使用最小二乘法进行线性回归分析，包括手动计算和使用sklearn库的全过程，对比了两种方法的预测结果及评估指标。

y=wi*xi+b，基于最小二乘法的线性回归：寻找参数w和b，使得w和b对x_test_data的预测值y_pred_data与真实的回归目标y_test_data之间的均方误差最小。

公式推导：
在这里插入图片描述
基于最小二乘法构造linear_model有5个步骤：
1、导包。

from sklearn import linear_model
import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import mean_squared_error,r2_score,mean_absolute_error

sklearn中有专门的线性模型包linear_model，numpy用于生成数据，matplotlib用于画图，另外导入MSE，R_Square和MAE三个评价指标。
2、构造数据集。可以自动生成数据，也可以寻找现有数据，以下数据是作业中的数据，样本数据只有一个特征。
3、训练模型。
4、输出系数w和截距b并对测试集进行预测。
5、作图。

完整代码：

import pandas as pd
import matplotlib.pyplot as plt
from sklearn import linear_model
import numpy as np
from sklearn.metrics import mean_squared_error, r2_score, mean_absolute_error


def load_data():
    data = pd.read_csv('Salary_Data.csv', encoding='gbk')
    data = data.values.tolist()
    train_x = []
    train_y = []
    test_x = []
    test_y = []
    # 前一半作为训练集，后一半作为测试集
    for i in range(len(data)):
        if i < len(data) / 2:
            train_x.append(data[i][0])
            train_y.append(data[i][1])
        else