2_Gradient Descent

最新推荐文章于 2025-12-17 05:58:59 发布

原创最新推荐文章于 2025-12-17 05:58:59 发布 · 89 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python

基于PyTorch的神经网络基础专栏收录该内容

11 篇文章

订阅专栏

本文通过Python代码展示了如何使用随机梯度下降算法对一个简单的线性模型进行训练，包括定义前向传播、计算成本函数和梯度，以及迭代优化权重参数的过程。

用了随机梯度下降算法，用了很简单的数据集，是一个基础。

# 导包
import numpy as np
import matplotlib.pyplot as plt
# 方便嵌入jupyter
%matplotlib inline

#展示高清图
from matplotlib_inline import backend_inline
backend_inline.set_matplotlib_formats('svg')

x_data=[1.0,2.0,3.0]
y_data=[2.0,4.0,6.0]

# 这里也需要对 w进行一个预测
w=1.0

def forward(x):
    return x*w

# cost += (y_hat-y)**2
def cost(xs,ys):
    cost=0
    for x,y in zip(xs,ys):
        y_pred=forward(x)
        cost+=(y_pred-y)**2
    return cost/len(xs)

def gradient(xs,ys):
    grad=0
    for x,y in zip(xs,ys):
        grad+=2*x*(x*w-y)
    return grad/len(xs)

print('Predict (before training)',4,forward(4))
for epoch in range(100):
    cost_val=cost(x_data, y_data)
    grad_val=gradient(x_data,y_data)
    w-=0.01*grad_val
    print('Epoch:',epoch,'w=',w,'loss=',cost_val)
print('Predict(after training)',4,forward(4))