PyTorch Lightning使用过程中的tips

最新推荐文章于 2024-12-24 20:33:13 发布

lzxsz_

最新推荐文章于 2024-12-24 20:33:13 发布

阅读量1.1k

点赞数 18

文章标签： pytorch 人工智能 python

本文链接：https://blog.youkuaiyun.com/lzxsz_/article/details/140084702

版权

从一开始学习这个框架之后，我慢慢的了解了很多这个框架的强大之处，不得不感叹一下它相对于PyTorch真香。在我们研究深度学习项目的过程中，确实要涉及到很多基本的tips，这些方法在传统的PyTorch中都是需要自己去实现的，而在pl中这些东西都得到优化，目前还在发掘中。具体方法查看官方文档。如果没接触过这个框架的可以看我上一篇文章。文章https://blog.youkuaiyun.com/lzxsz_/article/details/140081429?spm=1001.2014.3001.5501。

EarlyStopping

我们平时训练过程总要通过验证集的指标来评估这个模型的好坏，Early Stopping就是防止过拟合的方法之一，pl的callback模块封装了该方法，我们不需要自己再定义。

首先导入模块是必要的：

from pytorch_lightning.callbacks import EarlyStopping

然后我们在定义了Trainer之前呢，实例化EarlyStopping：

earlystopping = EarlyStopping('val_loss', patience=hparams.patience, min_delta=0.00, mode="min")

这里的参数解释一下，第一个是指定早停的指标，我这里是val_loss，第二个patience参数是指定多少个epoch指标没有更新，就实现早停，停止训练，min_delta参数为指标的更新大小，这里是0，最后一个参数就是更新的方向，val_loss显然是越小越好。

最后将该参数作为callback传递给Trainer：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

lzxsz_

关注关注

18
点赞
踩
13

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

深度学习系列资料总结

专注大数据与人工智能技术分享，欢迎私信加群互相学习！

07-17

2万+

说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................

HoloLens2 and YOLOv5 (1)——自制数据集在google colab上进行yolov5模型训练

蓝凌女巫的博客

06-09

2558

文章目录1. 序言2. 准备自己的数据集(不需要的直接跳过)(1) Collect pictures.(2) Use roboflow to label the images.(3) Dataset health check and augmention(4) Download the dataset in YOLO fromat.3. 在colab上训练YOLOv5(1) 准备工作(4) 训练方式A（推荐）(3) 训练方式B4. 用训练结果做目标检测5. 结束（该专栏内容持续更新中⋯⋯\cdots\c

参与评论您还未登录，请先登录后发表或查看评论

Pytorch-Lighting使用教程（MNIST为例）

huarzail的专栏

06-01

5167

pytorch-lighting（简称pl），基于 PyTorch 的框架。它的核心思想是，将学术代码（模型定义、前向 / 反向、优化器、验证等）与工程代码（for-loop，保存、tensorboard 日志、训练策略等）解耦开来，使得代码更为简洁清晰。

Pytorch Lightning 完全攻略！

Datawhale

02-18

6503

Datawhale干货作者：Takanashi@知乎，编辑：极市平台来源 | https://zhuanlan.zhihu.com/p/353985363极市导读作者实践中发现Py...

pytorch_lighting

qq_38195610的博客

05-09

1万+

PyTorch Lightning 是一个开源的 PyTorch 加速框架，它旨在帮助研究人员和工程师更快地构建神经网络模型和训练过程。它提供了一种简单的方式来组织和管理 PyTorch 代码，同时提高了代码的可重用性和可扩展性。PyTorch Lightning 提供了一组预定义的模板和工具，使得用户可以轻松地构建和训练各种类型的神经网络模型，包括图像分类、对象检测、语音识别、自然语言处理等。

更简单实用的pytorch——pytorch_lighting

hardw_littlew的博客

07-12

2106

LightningModule 使您的 PyTorch nn.Module 能够在训练步骤（还有可选的验证步骤和测试步骤）内以复杂的方式一起运行。import osLightning 支持任何可迭代（DataLoader、 numpy 等）用于训练/验证/测试/预测分割。使用 LightningModule 中提供的 20 多种方法（Hook）中的任何一个，在训练循环中的任何位置注入自定义代码。

【AI基础】pytorch lightning 基础学习

张哥频道：电生理信号和磁共振成像

09-27

1924

pytorch lightning 库部署深度学习模型全工作流程。

详解PyTorch项目使用TensorboardX进行训练可视化

最新发布

qq_27390023的博客

12-24

669

PyTorch Lightning 是一个高层封装的 PyTorch 框架，用于简化深度学习模型的训练和部署过程。它规范了代码结构，降低了实现复杂训练逻辑的难度，同时支持多 GPU、混合精度等高级特性。:::回调（）:日志记录（）:PyTorch Lightning 推荐的代码结构如下： 2. 数据加载（使用）用于规范化数据加载逻辑，以下方法需要实现或重写：核心方法：可选方法：是定义模型的核心模块，以下方法可以根据需求实现或重写：核心方法：可选方法： 5. 测试模型 P

【Pytorch】Pytorch Lightning 完全攻略

AiFool的博客

02-27

1616

Pytorch-Lightning这个库我“发现”过两次。第一次发现时，感觉它很重很难学，而且似乎自己也用不上。但是后面随着做的项目开始出现了一些稍微高阶的要求，我发现我总是不断地在相似工程代码上花费大量时间，Debug也是这些代码花的时间最多，而且渐渐产生了一个矛盾之处：如果想要更多更好的功能，如TensorBoard支持，Early Stop，LR Scheduler，分布式训练，快速测试等，代码就无可避免地变得越来越长，看起来也越来越乱，同时核心的训练逻辑也渐渐被这些工程代码盖过。

pytorch、pytorch_lightning、torchmetrics版本对应

向上生长的程序媛的博客

07-03

8924

PyTorch Lightning 与PyTorch版本对应安装

PyTorch深度学习必用库之PyTorch Lightning新手教程（附100行的完整深度学习项目代码模板）

weixin_44517742的博客

03-15

1万+

训练自动化：PyTorch Lightning可以帮助开发者处理训练循环，包括数据加载、批次迭代、前向传播、损失计算和反向传播等。100行左右的代码就可以写出完整的深度学习项目。分布式训练支持：PyTorch Lightning支持分布式训练，可以在多个GPU或多台机器上进行训练，从而加快训练速度，而且配置特别简单。可复现性：PyTorch Lightning提供的API方便用户使用固定的随机种子和训练环境，确保每次运行的结果是可复现的。

使用PyTorch Lightning从头开始实现并训练CNN

深度学习与计算机视觉

08-19

1509

本文是对卷积神经网络（CNN）的简要介绍。本文详细介绍了PyTorch Lightning的优点，然后简要介绍了CNN组件的理论，并描述了使用PyTorch Lightning库从头开始编写的简单CNN架构的训练循环的实现。为什么选择PyTorch Lightning？PyTorch是一个灵活且用户友好的库。如果说PyTorch在研究方面非常优秀，我认为Lightning在工程方面更胜一筹。其主要...

用 PyTorch Lightning 监控和串流 PyTorch 的训练进度 TensorBoard MNISTDataModule 训练查看训练进度

万有文的博客

04-13

1890

PyTorch Lightning 的 Trainer 还提供了一个自定义进度条的功能，你可以通过 progress_bar_refresh_rate 参数来设置进度条的更新频率。PyTorch Lightning 的 Trainer 类有许多内置的回调函数（callbacks），可以在训练的不同阶段触发。PyTorch Lightning 是一个非常有用的库，它提供了一种更简洁、更模块化的方式来构建和训练 PyTorch 模型。你也可以创建自定义的回调函数，以在训练过程中执行特定的操作。

Pytorch Lightning验证时TQDMProgressBar进度条输出异常问题与解决方案

iioSnail的博客

04-02

1962

在使用Pytorch Lightning时，若使用Pycharm或在Colab中用“python train.py”方式运行时，验证时的进度条会出现一个batch打印一行的情况。Validation DataLoader的进度条出现多次。

人工智能，从PyTorch到PyTorch Lightning简要介绍

weixin_43672348的博客

03-02

1万+

这篇文章回答了有关使用PyTorch时为什么需要Lightning的最常见问题。 PyTorch非常易于使用，可以构建复杂的AI模型。但是一旦研究变得复杂，并且将诸如多GPU训练，16位精度和TPU训练之类的东西混在一起，用户很可能会引入错误。 PyTorch Lightning完全解决了这个问题。Lightning会构建您的PyTorch代码，以便可以抽象出训练的细节。这使得AI研究可扩展且可......

pytorch-lighting使用

m0_60497540的博客

09-14

1788

其中model为实例化的pl.LightningModule。也就是定义model类是会定义哪些函数。开始训练前加载n个验证数据进行测试，添加回调函数或回调函数列表。k=-1时加载所有验证数据。

PyTorch Lightning使用方法

04-05

PyTorch Lightning是一个用于训练和部署深度学习模型的轻量级框架。它基于PyTorch，提供了一种简单易用的方式来组织、管理和扩展PyTorch代码。以下是PyTorch Lightning的使用方法： 1. 安装PyTorch Lightning 可以通过以下命令安装PyTorch Lightning： ``` pip install pytorch-lightning ``` 2. 创建模型创建一个PyTorch模型，继承`pl.LightningModule`类，并实现`training_step`、`validation_step`和`test_step`方法。例如： ```python import torch.nn as nn import torch.optim as optim import pytorch_lightning as pl class MyModel(pl.LightningModule): def __init__(self): super().__init__() self.fc1 = nn.Linear(28*28, 64) self.fc2 = nn.Linear(64, 10) self.loss_fn = nn.CrossEntropyLoss() def forward(self, x): x = x.view(x.size(0), -1) x = nn.functional.relu(self.fc1(x)) x = self.fc2(x) return x def training_step(self, batch, batch_idx): x, y = batch y_hat = self.forward(x) loss = self.loss_fn(y_hat, y) self.log('train_loss', loss) return loss def validation_step(self, batch, batch_idx): x, y = batch y_hat = self.forward(x) loss = self.loss_fn(y_hat, y) self.log('val_loss', loss) return loss def test_step(self, batch, batch_idx): x, y = batch y_hat = self.forward(x) loss = self.loss_fn(y_hat, y) self.log('test_loss', loss) return loss def configure_optimizers(self): return optim.Adam(self.parameters(), lr=1e-3) ``` 3. 创建数据模块创建一个`pl.LightningDataModule`类，实现`train_dataloader`、`val_dataloader`和`test_dataloader`方法，以加载训练、验证和测试数据。例如： ```python import torchvision.datasets as datasets import torchvision.transforms as transforms class MNISTDataModule(pl.LightningDataModule): def __init__(self, data_dir='./data'): super().__init__() self.data_dir = data_dir self.transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) def prepare_data(self): datasets.MNIST(self.data_dir, train=True, download=True) datasets.MNIST(self.data_dir, train=False, download=True) def train_dataloader(self): return torch.utils.data.DataLoader( datasets.MNIST(self.data_dir, train=True, transform=self.transform), batch_size=32, shuffle=True, num_workers=4 ) def val_dataloader(self): return torch.utils.data.DataLoader( datasets.MNIST(self.data_dir, train=False, transform=self.transform), batch_size=32, shuffle=False, num_workers=4 ) def test_dataloader(self): return torch.utils.data.DataLoader( datasets.MNIST(self.data_dir, train=False, transform=self.transform), batch_size=32, shuffle=False, num_workers=4 ) ``` 4. 训练模型使用`pl.Trainer`类训练模型。例如： ```python model = MyModel() data_module = MNISTDataModule() trainer = pl.Trainer(max_epochs=10, gpus=1) trainer.fit(model, data_module) ``` 5. 测试模型使用`pl.Trainer`类测试模型。例如： ```python trainer.test(model, data_module) ``` 以上就是PyTorch Lightning的使用方法。通过使用PyTorch Lightning，可以更加方便地组织和管理PyTorch代码，并实现更加高效的训练和部署。