Torch7学习（六）——学习神经网络包的用法（4）——利用optim进行训练

最新推荐文章于 2025-06-24 16:53:03 发布

Hungryof

最新推荐文章于 2025-06-24 16:53:03 发布

阅读量6.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Deep Learning Lua Torch7入门教程文章标签：神经网络 torch 深度学习 lua

本文链接：https://blog.youkuaiyun.com/Hungryof/article/details/52033464

本文是Torch7学习系列的最后一部分，重点介绍如何使用optim包进行神经网络的自动优化训练。通过optim.sgd函数，结合学习率、衰减率、权重衰减和动量等配置，实现网络参数的有效更新。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

torch7学习（一）——Tensor
Torch7学习(二) —— Torch与Matlab的语法对比
 Torch7学习（三）——学习神经网络包的用法（1）
Torch7学习（四）——学习神经网络包的用法（2）
Torch7学习（五）——学习神经网路包的用法（3）
Torch7学习（六）——学习神经网络包的用法（4）——利用optim进行训练
 Torch7学习（七）——从neural-style代码中看自定义重载函数的训练方式

总说

这篇博客是本系列的最后一篇，着重讲如何利用optim包进行自动挡训练。

-- standard training code
-- Here let's train XOR net.

require 'torch'
require 'cunn'
require 'cutorch'
require 'nn'
require

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Hungryof

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

PyTorch深度学习实战（3）——使用PyTorch构建神经网络

盼小辉丶的博客

06-13

7万+

PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。

PyTorch深度学习实战（7）——批大小对神经网络训练的影响

盼小辉丶的博客

07-31

8686

在神经网络中，批( batch )是指一次输入网络进行训练或推断的一组样本。批处理( batch processing )是指将这一组样本同时输入网络进行计算的操作。本节中首先介绍批( Batch )的基本概念，并且介绍批大小在神经网络训练过程中的影响。

1 条评论您还未登录，请先登录后发表或查看评论

深入浅出：探索PyTorch中的torch.optim

DeepViewInsight的博客

09-13

361

首先，让我们搞清楚是什么。在深度学习中，我们通常会使用优化算法来调整神经网络的权重和偏差，以便模型能够更好地拟合训练数据。是PyTorch中的一个模块，它提供了各种优化算法的实现，用于自动化地优化神经网络的参数。换句话说，可以帮助我们让模型更好地学习，从而提高性能。首先，我们需要定义一个神经网络模型。这个模型通常由层（layers）组成，每个层包含一些神经元和权重。这些权重是需要被优化的参数。return x在上面的例子中，我们定义了一个简单的神经网络模型MyModel。

torch.optim

正在挣扎中的人

12-18

5116

详解torch.optim

torch.optim.SGD(net.parameters())

热门推荐

盼小辉丶的博客

08-14

1万+

卷积神经网络 (Convolutional Neural Network, CNN) 是一种广泛应用的深度学习模型。通过参数共享、局部感知和空间结构等优势，能够更好地处理图像数据，并在图像识别、目标检测和图像生成等任务中展现出强大的能力。在本节中，介绍了卷积的计算方法以及卷积神经网络的基本组件，并使用 PyTorch 构建了卷积神经网络以深入了解其工作原理。

Pytorch：torch.optim模块

weixin_42046845的博客

11-29

1100

本篇笔记主要介绍torch.optim模块，记录学习过程在深度学习中，我们通常会使用优化算法来调整神经网络的权重和偏差，以便模型能够更好地拟合训练数据。torch.optim是PyTorch中的一个模块，它提供了各种优化算法的实现，用于自动化地优化神经网络的参数。换句话说，torch.optim可以帮助我们让模型更好地学习，从而提高性能。

13、TORCH.OPTIM

u013049912的博客

07-21

4588

torch.optim 是一个实现各种优化算法的包。大部分常用的方法都已经支持，接口也足够通用，以后也可以轻松集成更复杂的方法。 How to use an optimizer 要使用 torch.optim，您必须构造一个优化器对象，该对象将保存当前状态并根据计算出的梯度更新参数。构建它要构造一个优化器，你必须给它一个包含要优化的参数（都应该是 Variable s）的迭代。然后，您可以指定特定于优化器的选项，例如学习率、权重衰减等。 NOTE 如果您需要通过 .cuda() 将模型移

torch.optim优化器

qq_35608277的博客

01-03

770

基本使用方法 import optim ptimizer=optim.SGD(params=net.parameters(),lr=0.1) optimizer.zero_grad() //梯度清零 output=net(input) output.backward(output) optimizer.step() import torch.optim as optim #定义了网络 n...

python torch.optim模块

qq_35568823的博客

09-02

1831

本篇笔记主要介绍torch.optim模块，主要包含模型训练的优化器Optimizer。

【PyTorch】torch.optim.SGD 类：随机梯度下降（SGD）优化器

彬彬侠的博客

01-17

1546

torch.optim.SGD 是 PyTorch 中实现的随机梯度下降（SGD）优化器，用于更新模型参数。它是最基础也是最常见的优化算法之一。SGD 在训练神经网络时通过最小化损失函数来调整网络权重。SGD 是一个基于批量的优化方法，每次更新只基于一个样本（或者一个小批量）。相比于批量梯度下降（使用所有样本计算梯度），SGD 每次只计算一个样本的梯度，因而可以节省计算资源，尤其是在数据集较大的时候。

torch.optim详解

m0_49133355的博客

07-17

568

torch.optim 是 PyTorch 中的优化器模块，它提供了一系列用于训练神经网络的优化算法。在这个示例中，我们定义了一个简单的神经网络，使用 Adam 优化器来优化模型参数，并在每个训练周期中执行前向传播、计算损失、反向传播和参数更新。betas: 用于计算梯度和梯度平方的运行平均值的系数（默认值为 (0.9, 0.999)）。weight_decay: 权重衰减（L2惩罚）。weight_decay: 权重衰减（L2惩罚）。weight_decay: 权重衰减（L2惩罚）。

还是torch中的optim模块

qq_36302589的博客

05-27

558

最近在看BoF中的一些trick，发现在代码实现中有考虑对于参数的weight_decay只对卷积层的权重来进行正则化约束，不对所有参数进行约束，话不多说上代码，以torchvision中定义的resnet18为例 import torchvision import torch.optim as optim model1 = torchvision.models.resnet18() parmas = [] params_dict = dict(model1.named_parameters()) fo

【pytorch官方文档学习之六】torch.optim

youzhizhe2014的博客

09-25

213

本系列旨在通过阅读官方pytorch代码熟悉CNN各个框架的实现方式和流程。【pytorch官方文档学习之六】torch.optim 本文是对官方文档PyTorch: optim的详细注释和个人理解，欢迎交流。 learnable parameters的缺点本系列的之前几篇文章已经可以做到使用torch.no_grad或.data来手动更改可学习参数的tensors来更新模型的权重。但是这种方法对于简单的优化算法，如stochastic gradient descent随机梯度下降尚可，而对于实际中更

优化器：torch.optim

qimo601的专栏

01-16

1139

优化器：torch.optim

torch.nn训练optim

03-03

### 使用 `torch.nn` 和 `optim` 进行模型训练在 PyTorch 中，构建和训练神经网络涉及多个步骤。通过组合使用 `torch.nn` 和 `torch.optim` 可以高效地完成这一过程。 #### 定义模型结构利用 `torch.nn.Module` 类创建自定义的神经网络架构。此基类提供了必要的方法用于前向传播和其他操作。对于每一层的操作可以调用来自 `torch.nn` 的组件实现[^2]： ```python import torch from torch import nn, optim class SimpleNN(nn.Module): def __init__(self): super(SimpleNN, self).__init__() # 定义线性变换层 self.fc1 = nn.Linear(784, 500) self.fc2 = nn.Linear(500, 10) def forward(self, x): x = torch.relu(self.fc1(x)) x = self.fc2(x) return x ``` #### 设置损失函数与优化器为了使模型能够学习数据中的特征，在初始化阶段还需要指定合适的损失计算方式（Loss Function）。这里可以选择诸如交叉熵这样的分类问题常用损失函数。接着配置一个优化算法实例，例如随机梯度下降法 (SGD)，它负责更新权重参数以最小化误差: ```python # 初始化模型对象 model = SimpleNN() # 设定损失函数为交叉熵 criterion = nn.CrossEntropyLoss() # 创建 SGD 优化器并设置初始学习率 optimizer = optim.SGD(model.parameters(), lr=0.01) ``` #### 训练循环进入实际训练环节时，遍历整个数据集多次（epoch），每次迭代都会调整内部参数使得预测更加接近真实标签值。具体来说就是执行如下几个关键动作——零梯度、正向传递获取输出、基于输出计算当前批次总损失量级、反向传播累积梯度信息最后应用这些变化给各节点上的可变数列： ```python for epoch in range(num_epochs): running_loss = 0.0 for inputs, labels in dataloader: optimizer.zero_grad() # 清除之前的梯度 outputs = model(inputs) # 前向传播得到预测结果 loss = criterion(outputs, labels) # 根据预测结果计算损失 loss.backward() # 后向传播计算梯度 optimizer.step() # 更新参数 running_loss += loss.item() print(f'Epoch {epoch}, Loss: {running_loss/len(dataloader)}') ``` 上述代码展示了如何在一个简单的例子中集成 `torch.nn` 构建网络框架，并借助于 `torch.optim` 实现有效的参数寻优机制来提升性能表现。