CIFAR-10 resnet18 炼丹指南

最新推荐文章于 2024-08-15 14:48:17 发布
最新推荐文章于 2024-08-15 14:48:17 发布
阅读量808 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 项目经验 文章标签： 炼丹 AI CIFAR-10 resnet18
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44326452/article/details/102908982
通过调整训练策略，如增加数据增强、优化超参数，成功将ResNet18在32*32图片上的准确率从58%提升至84%。详细介绍了如何解决过拟合问题，及多卡训练时的参数保存技巧。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 使用预训练模型，Adam，learning rate 1e-4，效果不好，不过也可能是我不够耐心
  • Adam, learning rate 1e-5 40个epoch后loss是0.1，之后在0.9附近振荡，test acc只有58%
  • 可能是没什么耐心，看网上都是几百个epoch而我看了几个epoch就想换了
  • 发现了效果不好的原因，当loss从2下降到0.1后准确率仍然只有58%，认为是resnet18在32*32的图片上过拟合导致的，于是发现train的transform不够正则，所以增加了flip和crop，然后在服务器上使用adam优化器，1e-4的学习率，大约在50个epoch后就达到了80%的准确率，继续训练下去还能接着下降，因为此时loss还没有完全收敛，但是由于我的目的并不需要那么严格的准确率，训练到84%的准确率就停止了
  • 另外，在服务器上用多卡训练保存参数时发现会在state_dict里面包上一层module，在这个blog里找到了解决方案
【经典卷积神经网络CNN模型 之 ResNet18】模型实验，使用CPU跑，一轮就已超过1小时，使用GPU时间会缩短吗
追光者♂：记录、分享、总结、提升，现象级专栏《Python从入门到人工智能》作者，无惧黑暗，坚信曙光
01-29 2238
希望有朋友可以分享一下，使用GPU来跑，一轮用了多长时间？【经典卷积神经网络CNN模型 之 ResNet18】模型实验，使用CPU跑，一轮就已超过1小时，使用GPU时间会缩短吗？
Resnet18-cifar10-pytorch 训练心得
G果的博客
09-11 5080
cifar10 训练集 10类 尺寸 32 x 32 50000训练集 10000测试集 resnet18 网络模型 7 x 7 conv,stride=2 3 x 3 maxpool,stride=2 resnet_block[ 3x3 3x3 ] x2 identity[ 1x1 ] x 2 resnet_block[ 3x3 3x3 ] x2 identity[ 1x1 ] x 2 resnet_block[ 3x3 3x3 ] x2 identity[ 1x1 ] x 2 resnet_block
Resnet-18-训练实验-warm up操作
云中寻雾的博客
07-25 2121
实验数据：cat-dog 二分类，训练集：19871 验证集：3975 实验模型：resnet-18 batchsize：128*2 （一个K80吃128张图片） 存在的问题： 对训练集 accuracy可达0.99 loss=1e-2 -3，然而验证集 accuracy 0.5，loss 很高，试了多个初始学习率（0.1 — 0.0001）都不行 解决上述问题： 采取warm up方法 ...
如何快速高效的训练ResNet，各种奇技淫巧（三）：正则化
AI公园
08-24 3190
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：David Page编译：ronghuaiyang导读这个系列介绍了如何在CIFAR10上高效的训练Res...
ResNet-18超详细介绍！！！！
热门推荐
m0_64799972的博客
09-08 12万+
残差神经网络(ResNet)是由微软研究院的何恺明、张祥雨、任少卿、孙剑等人提出的。ResNet 在2015 年的ILSVRC（ImageNet Large Scale Visual Recognition Challenge）中取得了冠军。残差神经网络的主要贡献是发现了“退化现象（Degradation）”，并针对退化现象发明了 “快捷连接（Shortcut connection）”，极大的消除了深度过大的神经网络训练困难问题。下面我将一步步引出退化现象和快捷连接。
resnet-18.caffemodel
10-24
ncsdk里面例子需要的模型，可能下载不下来，所以放在这里方便大家下载
卷积神经网络ResNet50训练CIFAR-100图像分类Pytorch实现
07-03
# 卷积神经网络ResNet50训练CIFAR-100图像分类Pytorch实现 1. 使用pytorch调用CIFAR-100数据集，首次训练自动下载； 2. 包含训练代码，调用resnet50模型进行训练，使用交叉熵损失和SGD优化器； 3. 包含训练了50 ...
基于Keras+Resnet_v1对cifar-10进行图像分类
05-17
在本项目中，我们探讨了如何使用Keras库和ResNet_v1架构对CIFAR-10数据集进行图像分类。CIFAR-10是一个广泛用于图像识别任务的多类数据集，包含了10个类别共60,000张32x32像素的小型彩色图像。目标是训练一个模型，...
pytorch的resnet-18在cifar-10的预训练模型
03-13
pytorch的resnet-18在cifar-10的预训练模型
resnet-使用resnet实现CIFAR10分类-算法实现.zip
03-08
3. **深度选择**：ResNet有多个版本，如ResNet-18、ResNet-34、ResNet-50、ResNet-101和ResNet-152，它们的区别在于网络的深度，即残差块的数量。更深层次的ResNet可以捕获更复杂的图像特征，但可能会增加计算成本和...
基于ResNet18网络实现物体的图像分类(CIFAR-10数据集)
11-17
本研究旨在利用ResNet18网络，对包含10个类别共计60,000张RGB彩色图片的CIFAR-10数据集进行图像分类，这10个类别分别是飞机、汽车、鸟类、猫、鹿、狗、蛙类、马、船和卡车。 CIFAR-10数据集是由加拿大高级研究所...
ResNet18详细原理（含tensorflow版源码）
Code_and516的博客
03-28 2万+
ResNet18详细原理（含tensorflow版源码）
Resnet18训练CIFAR10 准确率95%
12-15 1万+
Resnet18训练CIFAR10 准确率95%方法 要点 避坑
Cifar10与ResNet18实战、lenet5、resnet（学习笔记）
涂作权的博客
02-19 649
1.44.Cifar10与ResNet18实战 Pytorch工程中建立pytorch，在pytorch里面创建lenet5.py、main.py、resnet.py。 1.44.1.lenet5.py # -*- coding: UTF-8 -*- import torch from torch import nn class Lenet5(nn.Module): """ for cifar10 dataset. """ def __init__(self):
Pytorch入门（五）使用ResNet-18网络训练常规状态下的CIFAR10数据集
一个非常Cool的人
06-06 6729
本文介绍了如何使用Pytorch+ResNet-18+CIFAR-10进行深度学习训练，并使用训练好的权重进行预测，ResNet是一个非常优秀的神经网络，ResNet 在图像分类任务中表现出色。
模型训练坎坷路--逐步提升模型准确率从40%到90%+
m0_56243424的博客
08-15 1636
剪枝实验的基准得是一个微调好的准确率保持较高的模型，按照我之前yolov5的经验来看，这还不简单?选模型+合适的数据集，20轮就OK!我计划使用 ResNet-18模型加上Cifar-10数据集，训练轮次100轮，准确度达到95%我就立马停下。可是过程却不大对劲，都20轮了我的准确率还是40%上下窜，一点进步的痕迹都没有，于是，果断按下停止键…from torchvision import models # 引入torchvision.modelstry:def train(
搭建ResNet18神经网络对cifar10数据集进行训练
weixin_44753371的博客
12-27 2372
搭建ResNet18神经网络对cifar10数据集进行训练 本博客以pytorch1.3框架搭建ResNet18层网络结构进行cifar10数据集训练。 1、ResNet18网络结构的说明 如图1所示：蓝色方框表示18层ResNet网络结构 用流程图来看更加直观，如图二所示： 由图2可知：每两层卷积层有一个shotrcut层，相当于一个短路链接，当下面的卷积层达不到更好的效果时，可以保证目前已...
Keras从头开始训练一个在CIFAR10上准确率达到89%的模型
女王の专属领地
04-28 1万+
如何用Keras从头开始训练一个在CIFAR10上准确率达到89%的模型CIFAR10 是一个用于图像识别的经典数据集，包含了10个类型的图片。该数据集有60000张尺寸为 32 x 32 的彩色图片，其中50000张用于训练，10000张用于测试。[CIFAR10]在几大经典图像识别数据集（MNIST / CIFAR10 / CIFAR100 / STL-10 / SVHN / ImageNet...
CIFAR-10 resnet
最新发布
03-10
### CIFAR-10 数据集上的 ResNet 实现与应用 ResNet（残差网络）是一种用于解决深层神经网络训练困难的有效架构，在多个计算机视觉任务中表现出色。对于像 CIFAR-10 这样的小型图像分类数据集，ResNet 同样可以取得很好的效果。 #### 使用 ResNet 对 CIFAR-10 的实现细节 为了在 CIFAR-10 上使用 ResNet 模型，通常会采用较小版本的 ResNet 架构来适应该数据集的特点： - **输入尺寸调整**：由于 CIFAR-10 图片分辨率较低（32×32），因此不需要非常深或者复杂的模型结构。一般会选择较浅层数目的 ResNet 版本，比如 ResNet-20 或者 ResNet-32[^1]。 - **预处理操作**：常见的做法是对原始图片做标准化处理，并可能加入一些简单的增强手段如随机裁剪、水平翻转等以增加样本多样性。 - **优化器配置**：大多数情况下选用 SGD 作为优化算法，并配合 Momentum 和权重衰减参数调节；学习率则按照预定策略逐步降低。 下面给出一段基于 PyTorch 平台构建并训练 ResNet 模型于 CIFAR-10 数据集上的简单代码示例： ```python import torch from torchvision import datasets, transforms from torch.utils.data import DataLoader import torch.nn as nn import torch.optim as optim from models.resnet_cifar import resnet20 # 假设有一个定义好的resnet20函数 transform_train = transforms.Compose([ transforms.RandomCrop(32, padding=4), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)), ]) trainset = datasets.CIFAR10(root='./data', train=True, download=True, transform=transform_train) trainloader = DataLoader(trainset, batch_size=128, shuffle=True, num_workers=2) device = 'cuda' if torch.cuda.is_available() else 'cpu' model = resnet20().to(device) criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(model.parameters(), lr=0.1, momentum=0.9, weight_decay=5e-4) for epoch in range(start_epoch, start_epoch + 200): model.train() running_loss = 0.0 for i, data in enumerate(trainloader, 0): inputs, labels = data[0].to(device), data[1].to(device) optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() ``` 这段脚本展示了如何加载 CIFAR-10 训练集以及设置相应的转换方法，接着初始化了一个 ResNet-20 模型实例，并指定了损失函数和优化器。最后通过循环迭代完成整个训练流程的一部分逻辑。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值