（刘二大人）PyTorch深度学习实践-pytorch实现线性模型以及其他两种优化函数性能比较

Catherine_bling

已于 2022-10-14 17:22:44 修改

阅读量613

点赞数

CC 4.0 BY-SA版权

分类专栏： PyTorch 文章标签：深度学习 pytorch python

于 2022-10-14 17:21:37 首次发布

本文链接：https://blog.youkuaiyun.com/Catherine_bling/article/details/127266471

PyTorch 专栏收录该内容

13 篇文章

订阅专栏

本文通过PyTorch实现线性模型，对比了SGD、带momentum的SGD、Adadelta和ASGD四种优化函数在训练过程中的效果。实验结果显示，带momentum的SGD在效率、收敛速度和预测准确性方面表现出色。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

PyTorch优化函数参考：https://blog.youkuaiyun.com/weixin_42483745/article/details/125036736

1.使用SGD优化函数

1.1代码实现

import  numpy as np
import torch
from torch.utils.tensorboard import  SummaryWriter
import time


writer = SummaryWriter(log_dir="../LEDR")

#准备数据
x_data = torch.Tensor([[1.0],[2.0],[3.0]])#构造数据矩阵
y_data = torch.Tensor([[2.0],[4.0],[6.0]])

#搭建模型,主要作用就是求y_hat
class LinearModel(torch.nn.Module):
    def __init__(self):
        super(LinearModel, self).__init__()
        self.linear = torch.nn.Linear(1,1)#这里输入和输出的特征都是1，矩阵的列代表features，行代表样本数

    def forward(self,x):
        y_pred = self.linear(x)
        return y_pred

#进行实例化
model = LinearModel()

#construct loss and optimizer
criterion = torch.nn.MSELoss()
optimizer = torch.optim.SGD(params=model.parameters(),lr=0.01)

time1 = time.time()
#进行训练
for epoch in range(1000):
    y_pred = model(x_data)
    loss = criterion(y_pred,y_data)#损失函数要传入预测值和真实值,前馈过程
    #对每轮loss值进行追踪
    writer.add_scalar("SGD_loss",loss.item(),epoch)

    #先进行梯度清零再更新
    optimizer.zero_grad()
    loss.backward()  # 反馈过程
    optimizer.step()

time2  = time.time()
#对梯度和偏置值进行打印输出

print("\tw=",model.linear.weight.item())
print("\tb=",model.linear.bias.item())

#对模型进行测试,只需要进行前馈过程
x_test = torch.Tensor([[4.0]])#两个中括号，要写成1x1的矩阵
y_test = model(x_test)
print("y_pred=",y_test)

#打印运行时间
print(time2-time1)

1.2结果输出以及loss图像展示

D:\Anaconda3\envs\pytorch\python.exe E:/learn_pytorch/LE/pytorch_linear.py
w= 1.9975510835647583
b= 0.005566874053329229
y_pred= tensor([[7.9958]], grad_fn=<AddmmBackward0>)

0.7278996753692627

Process finished with exit code 0

1.3 使用带momentum的SGD（效率更优，收敛快，预测好）

optimizer = torch.optim.SGD(params=model.parameters(),lr=0.01,momentum=0.8)
#默认动量使用0.8或者0.9

D:\Anaconda3\envs\pytorch\python.exe E:/learn_pytorch/LE/pytorch_linear.py
w= 1.9999980926513672
b= 4.312112196203088e-06
y_pred= tensor([[8.0000]], grad_fn=<AddmmBackward0>)
0.6276383399963379

Process finished with exit code 0

2. 使用Adadelta优化函数

2.1代码修改部分

optimizer = torch.optim.Adadelta(params=model.parameters(),lr=1.0,rho=0.9,eps=1e-6,weight_decay=0)

--rho (float, 可选) – 用于计算平方梯度的运行平均值的系数（默认：0.9）

--eps (float, 可选) – 为了增加数值计算的稳定性而加到分母里的项（默认：1e-6）

--weight_decay (float, 可选) – 权重衰减（L2惩罚）（默认: 0）

2.2 运行结果及图像展示

D:\Anaconda3\envs\pytorch\python.exe E:/learn_pytorch/LE/pytorch_linear.py
w= 1.9920902252197266
b= 0.0012125391513109207
y_pred= tensor([[7.9696]], grad_fn=<AddmmBackward0>)

0.7667727470397949

Process finished with exit code 0

3.使用ASGD（随机平均梯度下降）优化函数

3.1代码修改部分

optimizer = torch.optim.ASGD(params=model.parameters(),lr=0.01,lambd=1e-4,alpha=0.75,t0=1e6,weight_decay=0)

3.2运行结果及图像展示

D:\Anaconda3\envs\pytorch\python.exe E:/learn_pytorch/LE/pytorch_linear.py
w= 1.9414650201797485
b= 0.13302306830883026
y_pred= tensor([[7.8989]], grad_fn=<AddmmBackward0>)
0.6747629642486572

Process finished with exit code 0