PyTorch官方中文文档：torch.optim 优化器参数

最新推荐文章于 2025-06-04 19:22:07 发布
最新推荐文章于 2025-06-04 19:22:07 发布
阅读量2.9k 收藏 20
点赞数 2
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/kyle1314608/article/details/100589394
本文档详细介绍了PyTorch中的各种优化算法，包括Adadelta、Adagrad、Adam、Adamax、ASGD、LBFGS、RMSprop、Rprop和SGD等。解释了如何使用optimizer进行参数更新，提供了构建optimizer的方法，以及如何为每个参数单独设置选项。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

内容预览：
  • step(closure) 进行单次优化 (参数更新). 参数： closure (callable) –...~
  • 参数： params (iterable) – 待优化参数的iterable或者是定义了参数组的...~
  • 参数： params (iterable) – 待优化参数的iterable或者是定义了参数组的...~

 

torch.optim

 

torch.optim是一个实现了各种优化算法的库。大部分常用的方法得到支持，并且接口具备足够的通用性，使得未来能够集成更加复杂的方法。

 

如何使用optimizer

 

为了使用torch.optim，你需要构建一个optimizer对象。这个对象能够保持当前参数状态并基于计算得到的梯度进行参数更新。

 

构建

 

为了构建一个Optimizer，你需要给它一个包含了需要优化的参数（必须都是Variable对象）的iterable。然后，你可以设置optimizer的参
数选项，比如学习率，权重衰减，等等。

 

例子：

 

optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum=0.9)
optimizer = optim.Adam([var1, var2], lr = 0.0001)

 

为每个参数单独设置选项

 

Optimizer也支持为每个参数单独设置选项。若想这么做，不要直接传入Variable的iterable，而是传入dict的iterable。每一个dict都分别定
义了一组参数，并且包含一个param键，这个键对应参数的列表。其他的键应该optimizer所接受的其他参数的关键字相匹配，并且会被用于对这组参数的
优化。

 

注意：

 

你仍然能够传递选项作为关键字参数。在未重写这些选项的组中，它们会被用作默认值。当你只想改动一个参数组的选项，但其他参数组的选项不变时，这是
非常有用的。

 

例如，当我们想指定每一层的学习率时，这是非常有用的：

 

optim.SGD([
                {'params': model.base.parameters()},
                {'params': model.classifier.parameters(), 'lr': 1e-3}
            ], lr=1e-2, momentum=0.9)

 

这意味着model.base的参数将会使用1e-2的学习率，model.classifier的参数将会使用1e-3的学习率，并且0.9的momentum将会被用于所
有的参数。

 

进行单次优化

 

所有的optimizer都实现了step()方法，这个方法会更新所有的参数。它能按两种方式来使用：

 

optimizer.step()

 

这是大多数optimizer所支持的简化版本。一旦梯度被如backward()之类的函数计算好后，我们就可以调用这个函数。

 

例子

 

for input, target in dataset:
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    optimizer.step()

 

optimizer.step(closure)

 

一些优化算法例如Conjugate Gradient和LBFGS需要重复多次计算函数，因此你需要传入一个闭包去允许它们重新计算你的模型。这个闭包应当清空梯度，
计算损失，然后返回。

 

例子：

 

for input, target in dataset:
    def closure():
        optimizer.zero_grad()
        output = model(input)
        loss = loss_fn(output, target)
        loss.backward()
        return loss
    optimizer.step(closure)

 

算法

 

class torch.optim.Optimizer(params, defaults) [source]

 

Base class for all optimizers.

 

参数：

 

    • params (iterable) —— Variable 或者 dict的iterable。指定了什么参数应当被优化。

 

    • defaults —— (dict)：包含了优化选项默认值的字典（一个参数组没有指定的参数选项将会使用默认值）。

 

 

load_state_dict(state_dict) [source]

 

加载optimizer状态

 

参数：

 

state_dict (dict) —— optimizer的状态。应当是一个调用state_dict()所返回的对象。

 

state_dict() [source]

 

以dict返回optimizer的状态。

 

它包含两项。

 

    • state – 一个保存了当前优化状态的dict。optimizer的类别不同，state的内容也会不同。

 

    • param_groups – 一个包含了全部参数组的dict。

 

 

step(closure) [source]

 

进行单次优化 (参数更新).

 

参数：

 

    • closure (callable) – 一个重新评价模型并返回loss的闭包，对于大多数参数来说是可选的。

 

 

zero_grad() [source]

 

清空所有被优化过的Variable的梯度.

 

class torch.optim.Adadelta(params, lr=1.0, rho=0.9, eps=1e-06, weight_decay=0)[source]

 

实现Adadelta算法。

 

它在ADADELTA: An Adaptive Learning Rate Method.中被提出。

 

参数：

 

    • params (iterable) – 待优化参数的iterable或者是定义了参数组的dict

 

    • rho (float, 可选) – 用于计算平方梯度的运行平均值的系数（默认：0.9）

 

    • eps (float, 可选) – 为了增加数值计算的稳定性而加到分母里的项（默认：1e-6）

 

    • lr (float, 可选) – 在delta被应用到参数更新之前对它缩放的系数（默认：1.0）

 

    • weight_decay (float, 可选) – 权重衰减（L2惩罚）（默认: 0）

 

 

step(closure) [source]

 

进行单次优化 (参数更新).

 

参数：

 

    • closure (callable) – 一个重新评价模型并返回loss的闭包，对于大多数参数来说是可选的。

 

 

class torch.optim.Adagrad(params, lr=0.01, lr_decay=0, weight_decay=0)[source]

 

实现Adagrad算法。

 

它在 Adaptive Subgradient Methods for Online Learning and Stochastic Optimization中被提出。

 

参数：

 

    • params (iterable) – 待优化参数的iterable或者是定义了参数组的dict

 

    • lr (float, 可选) – 学习率（默认: 1e-2）

 

    • lr_decay (float, 可选) – 学习率衰减（默认: 0）

 

    • weight_decay (float, 可选) – 权重衰减（L2惩罚）（默认: 0）

 

 

step(closure) [source]

 

进行单次优化 (参数更新).

 

参数：

 

    • closure (callable) – 一个重新评价模型并返回loss的闭包，对于大多数参数来说是可选的。

 

 

class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)[source]

 

实现Adam算法。

 

它在Adam: A Method for Stochastic Optimization中被提出。

 

参数：

 

    • params (iterable) – 待优化参数的iterable或者是定义了参数组的dict

 

    • lr (float, 可选) – 学习率（默认：1e-3）

 

    • betas (Tuple[float, float], 可选) – 用于计算梯度以及梯度平方的运行平均值的系数（默认：0.9，0.999）

 

    • eps (float, 可选) – 为了增加数值计算的稳定性而加到分母里的项（默认：1e-8）

 

    • weight_decay (float, 可选) – 权重衰减（L2惩罚）（默认: 0）

 

 

step(closure) [source]

 

进行单次优化 (参数更新).

 

参数：

 

    • closure (callable) – 一个重新评价模型并返回loss的闭包，对于大多数参数来说是可选的。

 

 

class torch.optim.Adamax(params, lr=0.002, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)[source]

 

实现Adamax算法（Adam的一种基于无穷范数的变种）。

 

它在Adam: A Method for Stochastic Optimization中被提出。

 

参数：

 

    • params (iterable) – 待优化参数的iterable或者是定义了参数组的dict

 

    • lr (float, 可选) – 学习率（默认：2e-3）

 

    • betas (Tuple[float, float], 可选) – 用于计算梯度以及梯度平方的运行平均值的系数

 

    • eps (float, 可选) – 为了增加数值计算的稳定性而加到分母里的项（默认：1e-8）

 

    • weight_decay (float, 可选) – 权重衰减（L2惩罚）（默认: 0）

 

 

step(closure) [source]

 

进行单次优化 (参数更新).

 

参数：

 

    • closure (callable) – 一个重新评价模型并返回loss的闭包，对于大多数参数来说是可选的。

 

 

class torch.optim.ASGD(params, lr=0.01, lambd=0.0001, alpha=0.75, t0=1000000.0, weight_decay=0)[source]

 

实现平均随机梯度下降算法。

 

它在Acceleration of stochastic approximation by averaging中被提出。

 

参数：

 

    • params (iterable) – 待优化参数的iterable或者是定义了参数组的dict

 

    • lr (float, 可选) – 学习率（默认：1e-2）

 

    • lambd (float, 可选) – 衰减项（默认：1e-4）

 

    • alpha (float, 可选) – eta更新的指数（默认：0.75）

 

    • t0 (float, 可选) – 指明在哪一次开始平均化（默认：1e6）

 

    • weight_decay (float, 可选) – 权重衰减（L2惩罚）（默认: 0）

 

 

step(closure) [source]

 

进行单次优化 (参数更新).

 

参数：

 

    • closure (callable) – 一个重新评价模型并返回loss的闭包，对于大多数参数来说是可选的。

 

 

class torch.optim.LBFGS(params, lr=1, max_iter=20, max_eval=None, tolerance_grad=1e-05, tolerance_change=1e-09, history_size=100, line_search_fn=None)[source]

 

实现L-BFGS算法。

 

警告

 

这个optimizer不支持为每个参数单独设置选项以及不支持参数组（只能有一个）

 

警告

 

目前所有的参数不得不都在同一设备上。在将来这会得到改进。

 

注意

 

这是一个内存高度密集的optimizer（它要求额外的param_bytes * (history_size + 1) 个字节）。如果它不适应内存，尝试减小history size，或者使用不同的算法。

 

参数：

 

    • lr (float) – 学习率（默认：1）

 

    • max_iter (int) – 每一步优化的最大迭代次数（默认：20）)

 

    • max_eval (int) – 每一步优化的最大函数评价次数（默认：max * 1.25）

 

    • tolerance_grad (float) – 一阶最优的终止容忍度（默认：1e-5）

 

    • tolerance_change (float) – 在函数值/参数变化量上的终止容忍度（默认：1e-9）

 

    • history_size (int) – 更新历史的大小（默认：100）

 

 

step(closure) [source]

 

进行单次优化 (参数更新).

 

参数：

 

    • closure (callable) – 一个重新评价模型并返回loss的闭包，对于大多数参数来说是可选的。

 

 

class torch.optim.RMSprop(params, lr=0.01, alpha=0.99, eps=1e-08, weight_decay=0, momentum=0, centered=False)[source]

 

实现RMSprop算法。

 

由G. Hinton在他的课程中提出.

 

中心版本首次出现在Generating Sequences With Recurrent Neural Networks.

 

参数：

 

    • params (iterable) – 待优化参数的iterable或者是定义了参数组的dict

 

    • lr (float, 可选) – 学习率（默认：1e-2）

 

    • momentum (float, 可选) – 动量因子（默认：0）

 

    • alpha (float, 可选) – 平滑常数（默认：0.99）

 

    • eps (float, 可选) – 为了增加数值计算的稳定性而加到分母里的项（默认：1e-8）

 

    • centered (bool, 可选) – 如果为True，计算中心化的RMSProp，并且用它的方差预测值对梯度进行归一化

 

    • weight_decay (float, 可选) – 权重衰减（L2惩罚）（默认: 0）

 

 

step(closure) [source]

 

进行单次优化 (参数更新).

 

参数：

 

    • closure (callable) – 一个重新评价模型并返回loss的闭包，对于大多数参数来说是可选的。

 

 

class torch.optim.Rprop(params, lr=0.01, etas=(0.5, 1.2), step_sizes=(1e-06, 50))[source]

 

实现弹性反向传播算法。

 

参数：

 

    • params (iterable) – 待优化参数的iterable或者是定义了参数组的dict

 

    • lr (float, 可选) – 学习率（默认：1e-2）

 

    • etas (Tuple[float, float], 可选) – 一对（etaminus，etaplis）, 它们分别是乘法的增加和减小的因子（默认：0.5，1.2）

 

    • step_sizes (Tuple[float, float], 可选) – 允许的一对最小和最大的步长（默认：1e-6，50）

 

 

step(closure) [source]

 

进行单次优化 (参数更新).

 

参数：

 

    • closure (callable) – 一个重新评价模型并返回loss的闭包，对于大多数参数来说是可选的。

 

 

class torch.optim.SGD(params, lr=, momentum=0, dampening=0, weight_decay=0, nesterov=False)[source]

 

实现随机梯度下降算法（momentum可选）。

 

Nesterov动量基于On the importance of initialization and momentum in deep learning中的公式.

 

参数：

 

    • params (iterable) – 待优化参数的iterable或者是定义了参数组的dict

 

    • lr (float) – 学习率

 

    • momentum (float, 可选) – 动量因子（默认：0）

 

    • weight_decay (float, 可选) – 权重衰减（L2惩罚）（默认：0）

 

    • dampening (float, 可选) – 动量的抑制因子（默认：0）

 

    • nesterov (bool, 可选) – 使用Nesterov动量（默认：False）

 

 

例子：

 

>>> optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9)
>>> optimizer.zero_grad()
>>> loss_fn(model(input), target).backward()
>>> optimizer.step()

 

Note

 

带有动量/Nesterov的SGD的实现稍微不同于Sutskever等人以及其他框架中的实现。

 

考虑动量的具体情况，更新可以写成

 

v=ρ∗v+g

 

p=p−lr∗v

 

其中，p、g、v和ρ分别是参数、梯度、速度和动量。

 

这跟Sutskever等人以及其他框架的实现是相反的，它们采用这样的更新

 

v=ρ∗v+lr∗g

 

p=p−v

 

Nesterov的版本也类似地被修改了。

 

step(closure) [source]

 

进行单次优化 (参数更新).

 

参数：

 

    • closure (callable) – 一个重新评价模型并返回loss的闭包，对于大多数参数来说是可选的。

 

 

艾伯特(http://www.aibbt.com/)国内第一家人工智能门户

 

 

 

 

 

 

以上就是：PyTorch官方中文文档：torch.optim 的全部内容。

本站部分内容来源于互联网和用户投稿，如有侵权请联系我们删除，谢谢。
Email：server@01hai.com

 

PyTorch（六）优化模型参数
qq_45031509的博客
07-02 767
c 目的 优化的目的已经拥有了一个「模型」和「数据」，是时候通过「优化模型参数」来训练、验证和测试模型。#d 迭代训练训练模型是一个迭代过程；在每次迭代中，模型对输出做出猜测，计算其猜测的误差（损失），收集误差相对于其参数的导数，并使用「梯度下降」来优化这些参数。
pytorch 笔记：torch.optim.Adam
qq_40206371的博客
07-22 1906
【代码】pytorch 笔记：torch.optim.Adam。
PyTorch官方文档v0.1.11_5
06-12
PyTorch官方文档v0.1.11_5
Pytorch torch.optim优化器个性化使用
weixin_33826268的博客
06-28 1466
一、简化前馈网络LeNet 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 import torch as t     class LeNet(t.nn.Module):...
常见优化器Optimizer总结
最新发布
Stevelu的技术博客
06-04 943
本文介绍了PyTorch中常用的优化器及其原理。从基础的梯度下降（GD）开始，分析了批量梯度下降（BGD）和小批量梯度下降（MBGD）的特点。重点讲解了随机梯度下降（SGD）及其改进方法：带动量的SGD通过累积历史梯度加速收敛，Nesterov动量则通过预测梯度位置进一步优化。此外还介绍了RMSProp优化器，它通过梯度平方的移动平均自适应调整学习率。这些优化器各有优势，SGD适合大规模数据，动量法能逃离局部最优，RMSProp则使训练更稳定。优化器的选择需要结合具体任务和数据特点。
【pytorch】（五）优化模型参数
weixin_44378835的博客
01-23 1830
【pytorch】优化模型参数 import torch from torch import nn from torch.utils.data import DataLoader from torchvision import datasets from torchvision.transforms import ToTensor, Lambda training_data = datasets.FashionMNIST( root="data", train=True, down
pytorch官方文档（转）
qq_40178291的博客
08-21 340
pytorch文档链接https://pytorch.org/docs/stable/nn.html
浅谈Pytorch torch.optim优化器个性化的使用
12-20
在PyTorch中，`torch.optim` 是一个用于优化神经网络权重的重要库，它提供了多种常用的优化算法，如SGD（随机梯度下降）、Adam、RMSprop等。本篇文章将探讨如何在PyTorch中个性化地使用这些优化器。 首先，我们来看...
pytorch 笔记：torch.optim（基类的基本操作）
qq_40206371的博客
07-22 655
这在微调预训练网络时特别有用，例如当你决定解冻某些层，让它们在训练过程中变得可训练，并需要被优化器管理。这是大多数优化器支持的简化版本。一旦使用例如 backward() 计算了梯度，就可以调用该函数。这个字典指定了应该被优化的张量（Tensors），以及与该参数组相关的特定优化选项。假设有一个已经训练的模型，现在在特定的epoch之后，要解冻最后几层以进行微调。所有优化器都实现了一个 step() 方法，用于更新参数。这些选项可以包括学习率 (
PyTorch优化算法：optimizer=torch.optim.Adam参数介绍
ym62033的博客
03-07 5938
函数原型：6个参数有关优化的理论就不必在此赘述了，直接上函数参数说明1.params（必须参数）:这是一个包含了需要优化的参数（张量）的迭代器，通常是模型的参数 model.parameters()。学习率（learning rate）。它是一个正数，控制每次参数更新的步长。3.betas（默认值为 (0.9, 0.999)）:用于计算梯度的一阶和二阶矩的指数衰减因子。betas 是一个长度为 2 的元组，分别对应于一阶矩（平均梯度）和二阶矩（梯度平方的平均值）。
pytorch官方文档（中文版）
lht0909的博客
03-25 6204
中文版
【Pytorch】Pytorch官方文档
码农努力学习
11-12 1188
Pytorch官方文档中文链接：
pytorch官方文档
m0_47163076的博客
03-25 308
pytorch官方文档 pytorch官方文档中文版 但是好像官方文档也是个废狗。。。
PyTorch 官方文档 中文版本
JohnChen(Net)
01-07 818
文档地址。
Pytorch官方文档
qq_39676333的博客
10-16 663
最近正在学习Pytorch的相关知识，每次查找里面某些函数的参数定义啥的也不太方便，故在这里留下torch的官方文档，以备平时学习总结之需。见： 英文文档： https://pytorch.org/docs/master/torch.html 中文文档： https://pytorch-cn.readthedocs.io/zh/latest/ ...
PyTorch官方文档
机器学习，数据挖掘算法爱好者
08-09 9599
最近正在学习Pytorch的相关知识，每次查找里面某些函数的参数定义啥的也不太方便，故在这里留下torch的官方文档，以备平时学习总结之需。见： https://pytorch.org/docs/master/torch.html pytorch 中文文档： https://pytorch-cn.readthedocs.io/zh/latest/ 当然，在pycharm中查找某个函数的具体...
PyTorch官方中文文档：torch.utils.data
HowardWood的博客
03-10 1556
torch.utils.dataclass torch.utils.data.Dataset 表示Dataset的抽象类。所有其他数据集都应该进行子类化。所有子类应该override__len__和__getitem__，前者提供了数据集的大小，后者支持整数索引，范围从0到len(self)。class torch.utils.data.TensorDataset(data_tensor, tar...
Pytorch优化器Optimizer
一位在路上的工程师的博客
03-09 2472
pytorch的优化器：管理并更新模型中可学习参数的值，使得模型输出更接近真实标签
pytorch中文官方文档
epic_Lin的博客
10-24 1243
https://pytorch.apachecn.org/#/docs/1.4/78
'''Next, define the trainer and the parameters used for training.''' class Trainer: def __init__(self,model,train_loader,val_loader=None,loss_function=l2loss,device=torch.device('cpu'), optimizer='Adam_amsgrad',lr=5e-4,weight_decay=0): self.opt_type=optimizer self.device=device self.model=model self.train_data=train_loader self.val_data=val_loader self.device=device self.opts={'AdamW':torch.optim.AdamW(self.model.parameters(),lr=lr,amsgrad=False,weight_decay=weight_decay), 'AdamW_amsgrad':torch.optim.AdamW(self.model.parameters(),lr=lr,amsgrad=True,weight_decay=weight_decay), 'Adam':torch.optim.Adam(self.model.parameters(),lr=lr,amsgrad=False,weight_decay=weight_decay), 'Adam_amsgrad':torch.optim.Adam(self.model.parameters(),lr=lr,amsgrad=True,weight_decay=weight_decay), 'Adadelta':torch.optim.Adadelta(self.model.parameters(),lr=lr,weight_decay=weight_decay), 'RMSprop':torch.optim.RMSprop(self.model.parameters(),lr=lr,weight_decay=weight_decay), 'SGD':torch.optim.SGD(self.model.parameters(),lr=lr,weight_decay=weight_decay) } self.optimizer=self.opts[self.opt_type] self.loss_function=loss_function self.step=-1 def train(self,num_train,targ,stop_loss=1e-8, val_per_train=50, print_per_epoch=10): self.model.train() len_train=len(self.train_data) for i in range(num_train): val_datas=iter(self.val_data) for j,batch in enumerate(self.train_data): self.step=self.step+1 torch.cuda.empty_cache() self.optimizer.zero_grad() out = self.model(pos=batch.pos.to(self.device), z=batch.z.to(self.device), batch=batch.batch.to(self.device)) target = batch[targ].to(self.device) 这个是源代码的一部分，请帮我修改完整后发给我
03-31
<think>好的，我需要帮助用户完成一个PyTorch训练器类（Trainer）的代码补全。用户已经提供了一些现有的引用，我需要结合这些信息来构建答案。 首先，用户提到的引用[1]提到PyTorch Lightning的结构化API和训练循环，这可能提示我应该参考类似的训练流程，比如训练循环、验证循环、优化器设置等。引用[2]涉及自动微分和梯度计算，所以在训练步骤中需要确保反向传播和参数更新的正确实现。引用[3]中的数据处理部分，可能需要在Trainer类中整合数据加载和预处理，比如使用DataLoader。引用[4]中的分类任务示例，可能需要包括损失函数（如交叉熵）和评估指标。 接下来，用户的问题是需要补全一个Trainer类，实现完整的模型训练逻辑。我需要确定常见的PyTorch训练流程组件：数据加载、模型定义、优化器、损失函数、训练循环、验证循环、日志记录等。 可能的缺失部分包括： 1. 初始化方法中缺少优化器、损失函数的定义。 2. 训练循环中前向传播、损失计算、反向传播、参数更新的步骤。 3. 可能的数据加载器的集成。 4. 训练和验证的模式切换（model.train()和model.eval()）。 5. 计算评估指标，如准确率。 6. 进度日志的记录，比如打印损失和准确率。 需要确保代码符合PyTorch的规范，比如使用torch.no_grad()在验证阶段，正确清零梯度等。同时，根据引用[3]，可能需要使用类似train_test_split的功能，但在PyTorch中通常用DataLoader和Dataset来处理数据。 现在，将这些部分整合到代码中，确保语法正确，并添加必要的中文注释。同时，生成相关问题，帮助用户深入理解训练器的各个部分。</think>以下是一个基于PyTorch的完整训练器类代码实现，包含关键训练逻辑的中文注释： ```python import torch from torch.utils.data import DataLoader from sklearn.metrics import accuracy_score class Trainer: def __init__(self, model, train_dataset, val_dataset, device='cuda'): self.model = model.to(device) self.train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True) self.val_loader = DataLoader(val_dataset, batch_size=64) self.optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) # 初始化优化器[^2] self.criterion = torch.nn.CrossEntropyLoss() # 分类任务常用损失函数[^4] self.device = device def train_epoch(self): self.model.train() total_loss = 0.0 for batch in self.train_loader: # 数据准备 inputs = batch['features'].to(self.device) labels = batch['labels'].to(self.device) # 梯度清零 self.optimizer.zero_grad() # 前向传播 outputs = self.model(inputs) # 计算损失 loss = self.criterion(outputs, labels) # 反向传播 loss.backward() # 自动微分计算梯度[^2] # 参数更新 self.optimizer.step() total_loss += loss.item() return total_loss / len(self.train_loader) def validate(self): self.model.eval() total_loss = 0.0 all_preds = [] all_labels = [] with torch.no_grad(): for batch in self.val_loader: inputs = batch['features'].to(self.device) labels = batch['labels'].to(self.device) outputs = self.model(inputs) loss = self.criterion(outputs, labels) total_loss += loss.item() preds = torch.argmax(outputs, dim=1) all_preds.extend(preds.cpu().numpy()) all_labels.extend(labels.cpu().numpy()) accuracy = accuracy_score(all_labels, all_preds) return total_loss / len(self.val_loader), accuracy def train(self, epochs=10): for epoch in range(epochs): train_loss = self.train_epoch() val_loss, val_acc = self.validate() print(f"Epoch {epoch+1}/{epochs} | " f"Train Loss: {train_loss:.4f} | " f"Val Loss: {val_loss:.4f} | " f"Val Acc: {val_acc:.2%}") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值