梯度下降算法Python实现

Dr.Petrichor

于 2021-07-19 14:39:03 发布

阅读量650

点赞数

CC 4.0 BY-SA版权

分类专栏： # 深度学习文章标签： python 机器学习

本文链接：https://blog.youkuaiyun.com/weixin_43734080/article/details/118889133

深度学习专栏收录该内容

19 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了使用随机梯度下降法更新参数的表达式，并强调在处理多重回归时，需要对每个变量单独进行标准化处理。通过调整训练数据矩阵X的行顺序并应用更新表达式，实现了算法的运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

随机梯度下降法的做法是使用一下表达式（我前面的博客有讲到公式推理过程）来更新参数，表达式中的k 是随机选择的

$\theta _j:\theta _j-\eta (f_\theta (x^{k})-y^{(k)})x_j^{(k)}$

现在有了训练数据的矩阵X，把行的顺序随机地予以调整，然后重复应用更新表达式就行了。

import numpy as np
import matplotlib.pyplot as plt
#读入训练数据
train = np.loadtxt('D:/NoteBook/sourcecode-cn/click.csv', delimiter=',', skiprows=1)
train_x = train[:,0]
train_y = train[:,1]
#标准化
mu = train_x.mean()
sigma = train_x.std()
def standardize(x):
    return (x - mu)/ sigma
train_z = standardize(train_x)
#用随机数对参数初始化
t