机器学习-线性回归方法之最小二乘法和梯度下降法

最新推荐文章于 2025-02-03 21:05:01 发布

鹅鹅e

最新推荐文章于 2025-02-03 21:05:01 发布

阅读量1.9k

点赞数 2

文章标签：机器学习线性回归人工智能

本文链接：https://blog.youkuaiyun.com/weixin_44818956/article/details/127334205

版权

这篇博客介绍了机器学习中的线性回归，包括利用最小二乘法和梯度下降法求解线性模型。内容涵盖了最小二乘法的原理、梯度下降法的三种形式（BGD、SGD、MGD）及其优缺点，以及这两种方法在实际应用中的选择。此外，还提供了线性回归的Python代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近刚开始学机器学习里面的线性回归~也是第一次接触python 参考了网上的一些内容和自己的理解做了以下整理~希望可以帮助到你

1线性回归（Linear Regression）：

拟合出一个线性组合关系的函数，尽可能拟合所有数据点。

一元线性回归：如y= $\Theta$ x+b，找到一条直线，所有样本点到直线的距离之和最小。

多元线性回归：如y= $\Theta$ 1x1+ $\Theta$ 2x2+ $\Theta$ 3x3...+ $\Theta$ 0，找到一个超平面来拟合样本点。

为了方便计算和表示，写成矩阵形式，y=X $\Theta$ + $\varepsilon$

如何判断模型与观测点是最佳拟合呢？“误差的平方和最小”估计出来的模型是最接近真实情形的。

2求解方法：

1最小二乘法（least square method）

(4条消息) 一文让你彻底搞懂最小二乘法（超详细推导）_胤风的博客-优快云博客_最小二乘法https://blog.youkuaiyun.com/MoreAction_/article/details/106443383

例1：通过公式计算出（y=wx+b）w和b，再由误差函数（平方损失函数平均值）计算出误差

import numpy as np
import matplotlib.pyplot as plt
 
# ---------------1. 准备数据----------
data = np.array([[32,31],[53,68],[61,62],[47,71],[59,87],[55,78],[52,79],[39,59],[48,75],[52,71],
          [45,55],[54,82],[44,62],[58,75],[56,81],[48,60],[44,82],[60,97],[45, 48],[38,56],
          [66,83],[65,118],[47,57],[41,51],[51,75],[59,74],[57,95],[63,95],[46,79],[50,83]])
 
# 提取data中的两列数据，分别作为x，y
x = data[:, 0]
y = data[:, 1]
 
# 用plt画出散点图
#plt.scatter(x, y)
#plt.show()
 
# -----------2. 定义损失函数------------------
# 损失函数是系数的函数，另外还要传入数据的x，y
def compute_cost(w, b, points):
    total_cost = 0
    M = len(points)
 
    # 逐点计算平方损失误差，然后求平均数
    for i in range(M):
        x = points[i, 0]
        y = points[i, 1]
        total_cost += (y - w * x - b) ** 2
 
    return total_cost / M
 
# ------------3.定义算法拟合函数-----------------
# 先定义一个求均值的函数
def average(data):
    sum = 0
    num = len(data)
    for i in range(num):
        sum += data[i]
    return sum / num
 
# 定义核心拟合函数
def fit(points):
    M = len(points)
    x_bar = average(points[:, 0])
 
    sum_yx = 0
    sum_x2 = 0
    sum_delta = 0
 
    for i in range(M):
        x = points[i, 0]
        y = points[i, 1]
        sum_yx += y * (x - x_bar)
        sum_x2 += x ** 2
    # 根据公式计算w
    w = sum_yx / (sum_x2 - M * (x_bar ** 2))
 
    for i in range(M):
        x = points[i, 0]
        y = points[i, 1]
        sum_delta += (y - w * x)
    b =