Python 批量梯度下降 BGD 代码实现笔记

最新推荐文章于 2023-12-12 14:13:24 发布

Lu君

最新推荐文章于 2023-12-12 14:13:24 发布

阅读量1.1k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：代码机器学习文章标签：批量梯度下降机器学习代码实现 python

本文链接：https://blog.youkuaiyun.com/weixin_43704915/article/details/86667695

机器学习同时被 2 个专栏收录

8 篇文章

订阅专栏

代码

3 篇文章

订阅专栏

本文深入解析梯度下降算法的实现流程，从初始化参数到计算梯度，再到更新参数直至收敛，通过具体代码示例展示批量梯度下降的全过程。同时，探讨其优缺点及应用场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

回顾梯度下降流程

#1 初始化 $θ\theta$
#2 求 gradient
#3 $θt+1=θt−α•g\theta^{t+1}=\theta^{t}-\alpha • g$
#4 $g$ 收敛

批量梯度下降 BGD

批量：Batch
梯度：Gradient
下降：Descent
“Batch”: Each steep of gradient descent use all the training examples.
每一步下降都用到所有的数据样本

优点：全局最优解，精确
缺点：数据样本较大时耗费大量时间

$θj:=θj−α∑i=1m(hθ(x(i))−y(i))xj(i)\theta_{j}:=\theta_{j}-\alpha\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})x_{j}^{(i)}$

$g(θ0...θm)=xj(x∗θ−y)g_{(\theta_{0}...\theta_{m})}=x_{j}(x*\theta-y)$
x为m行n列， $θ\theta$ 为n行1列相乘
$⟹\Longrightarrow$ m行1列 $-$ y为m行1列
$⟹\Longrightarrow$ m行1列
所以 $x_{j}$ 需要转置为n行m列与 m行1列相乘
$⟹\Longrightarrow$ n行1列
1/m 平均每个数据的权重；
gradients = 1/m * x_b.T.dot(x_b.dot(theta)-y)

import numpy as np
import matplotlib.pyplot as plt

# 随机X纬度x1，rand是随机均匀分布
x = 2 * np.random.rand(100,1)
# 人为设置真实的Y一列 np.random.randn(100,1) 设置误差遵循标准正态分布
y = 4 + 3 * x + np.random.randn(100,1)
# 整合 x0 和 x1 成矩阵
x_b = np.c_[np.ones((100,1)),x]

learning_rate = 0.01 # 学习率一般默认设置为0.01
n_iterations = 10000 # 迭代次数够多即可(不一定需要全局最优解)
m = 100 # 100 行

# #1 初始化theta，w0...wn
theta = np.random.randn(2,1) # x_b 中只有x0,x1,只需要两个theta

# #4 不设置阀值，直接设置超参数，迭代次数，迭代次数到了就认为收敛了
for iteration in range(n_iterations):
    # #2 求梯度gradient
    gradients = 1/m * x_b.T.dot(x_b.dot(theta)-y)
    # #3 调整theta值
    theta = theta - learning_rate * gradients

print(theta)

x_new = np.array([[0],[2]])
x_new_b = np.c_[(np.ones((2,1))),x_new]
y_predict = x_new_b.dot(theta)

# 绘制图形
plt.plot(x_new,y_predict,'r-')
plt.plot(x,y,'b.')
plt.axis([0,2,0,15])
plt.show()