最小二乘法公式推导以及在线性回归中的应用

最新推荐文章于 2025-04-01 22:40:28 发布

luffy5459

最新推荐文章于 2025-04-01 22:40:28 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏：人工智能文章标签：最小二乘法线性回归求导数梯度下降

本文链接：https://blog.youkuaiyun.com/feinifi/article/details/128587716

文章介绍了线性回归的基础知识，通过梯度下降算法和最小二乘法来求解线性回归模型的参数w和b。程序示例展示了如何使用Python实现这两个方法，并给出了计算结果，强调了两者在计算直线系数上的接近性。最小二乘法利用求导和平均数的概念提供了另一种计算方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

机器学习算法中，有一个基础的算法，线性回归，它的目的是求出一条直线，满足所有点到这条直线的距离最短，也就是这些数据点能够看起来都在这条直线附近，最后，可以根据这条直线来预测其他数据的值。

线性回归，最推荐的做法其实是使用梯度下降算法，这种算法比较通用，对数据要求不高，可以离散不连续。如下所示，是一个使用梯度下降算法来进行线性回归的示例：

准备数据：

这两列数据最后是放在lineardata.csv中的，分别对应x,y集合。

程序代码：

import numpy as np
import matplotlib.pyplot as plt


def loss_error(w, b, data):
    x = data[:, 0]
    y = data[:, 1]
    loss = np.sum((y - w * x - b) ** 2) / data.shape[0]
    return loss


def linear_gradient(w, b, data, lr):
    N = float(len(data))
    x = data[:, 0]
    y = data[:, 1]
    dw = np.sum(-(2 / N) * x * (y - w * x - b))
    db = np.sum(-(2 / N) * (y - w * x - b))

    w = w - (lr * dw)
    b = b - (lr * db)
    return w, b


def optimizer(data, w, b, lr, epoch):
    for i in range(epoch):
        w, b = linear_gradient(w, b, data, lr)
        if i % 100 == 0:
            print('epoch {0}:loss={1}'.format(i, loss_error(w, b, data)))
    return w, b


def plot_data(data, w, b):
    x = data[:, 0]
    y = data[:, 1]
    y_predict = w * x + b
    plt.plot(x, y, 'o')
    plt.plot(x, y_predict, 'k-')
    plt.show()


def linear_regression():
    data = np.loadtxt('lineardata.csv', delimiter=',')
    # data = pd.read_csv('lineardata.csv',encoding='utf8')
    x = data[:, 0]
    y = data[:, 1]
    plt.plot(x, y, 'o')
    #plt.show()

    lr = 0.01
    epoch = 1000
    w = 0.0
    b = 0.0
    print("initial variables:\n initial_b={0}\n initial_w={1}\n loss={2}\n".format(b, w, loss_error(w, b, data)))

    w, b = optimizer(data, w, b, lr, epoch)
    print('final formula parameters:\n b = {0}\n w={1} \n loss={2}\n'.format(b, w, loss_error(w, b, data)))
    plot_data(data, w, b)


if __name__ == '__main__':
    linear_regression()

运行，打印结果：

initial variables:
 initial_b=0.0
 initial_w=0.0
 loss=184.68365853658537

epoch 0:loss=3.265436338536489
epoch 100:loss=1.4187213286545117
epoch 200:loss=1.3652986742281288
epoch 300:loss