自主搭建CNN训练时遇到的问题

最新推荐文章于 2024-07-12 01:07:27 发布

转载最新推荐文章于 2024-07-12 01:07:27 发布 · 221 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/yuanninesuns/p/9844198.html

文章标签：

#人工智能

本文探讨了深度学习中常见的四大问题：训练速度慢、过拟合、损失率波动及梯度消失、损失函数值为NaN及梯度爆炸，并提供了有效的解决策略，包括使用mini-batch代替full-batch、增加数据量、应用dropout层、引入BatchNormalization以及调整学习率。

1.训练太慢

用nimibatch代替fullbatch

https://www.cnblogs.com/guoyaohua/p/8724433.html

2.过拟合

最直接的解决过拟合问题的办法是增加训练数据量

使用dropout层

3.损失率波动不下降，欠拟合（梯度消失）

Batch Normalization

4.训练开始时后出现损失函数值为nan（梯度爆炸）

学习率太大

转载于:https://www.cnblogs.com/yuanninesuns/p/9844198.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30632883

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

AI人工智能深度学习算法：智能深度学习代理的架构搭建与可拓展性

AI天才研究院

09-10

1701

请解释卷积神经网络（CNN）的概念，并列举其在图像处理中的应用。卷积神经网络（Convolutional Neural Network，CNN）是一种特殊的多层前馈神经网络，专为处理具有网格结构的数据（如图像）而设计。概念：使用卷积核（filter）在输入数据上滑动，计算卷积操作，提取特征。对卷积层输出的特征进行降采样，减少参数和计算量。将前一层的特征映射到分类或回归任务，实现分类或回归。在图像处理中的应用：CNN 用于将图像分类到预定义的类别，如 ImageNet 挑战赛。

深度 Qlearning：利用软件模拟环境进行训练

AI天才研究院

07-08

1025

深度 Q-learning：利用软件模拟环境进行训练作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM 深度 Q-learnin

参与评论您还未登录，请先登录后发表或查看评论

cnn训练出现的问题

keyanxiaocaicai的专栏

12-31

625

我的水表数据是10W 多张：可是我转成LMDB的时候：确实这样的：才三万多张，啥原因？ train 的list god？ what is the reason for this？

CNN网络构建问题

weixin_NineDays66

08-02

591

构建CNN网络需要注意问题数据预处理（均值，方差，人脸归一化。。。），数据增强【放射变换、运动模糊、高斯滤波模糊类，增加噪声类，色彩/饱和度/亮度调整类、 Flip类，Crop类】这些都是根据实际的应用场景选择。 1.参数多少问题 [卷积核大小，通道数，卷积方式:conv / depthwiseconv / 空洞卷积激活函数 PRelu] 2.Flops计算量问题【参数...

Pytorch垃圾分类搭建CNN模型中遇到的坑

wxfu2010的博客

06-17

1067

背景就是利用pytorch进行图形分类处理，采用的是cnn算法，在使用过程中碰到了一些小麻烦。 1、在对图片进行压缩时的报错，报错形式为： raise ValueError("empty range for randrange() (%d,%d, %d)" % (istart, istop, width)) ValueError 解决办法：添加transform.Resize((256,256)) train_transforms = transforms.Compose([ tran

神经网络训练失败的原因总结！！

不要给自己设限，尝试更多可能（思所向皆可往）

02-26

1986

在面对模型不收敛的时候，首先要保证训练的次数够多。在训练过程中，loss并不是一直在下降，准确率一直在提升的，会有一些震荡存在。只要总体趋势是在收敛就行。若训练次数够多（一般上千次，上万次，或者几十个epoch）没收敛，再考虑采取措施解决。在最后一层使用错误的激活函数会导致网络最终不能输出你期望的范围值，最常见的错误就是最后一层使用Relu函数，其输出无负值。如果是做回归任务，大多数情况下不需要使用激活函数，除非你直到你所期望的值作为输出。

2021-06-18初学pytorch建立cnn模型遇到的问题（自己建立数据集）

qq571028495的博客

06-18

4546

RuntimeError: Given groups=1, weight of size [6, 3, 3, 3], expected input[64, 14, 22, 3] to have 3 channels, but got 14 channels instead 卷积权重为输入3通道，输出6通道，卷积核大小为3*3 但是认为输入数据为14通道，是不是应该把数据通道值放到shape[1] 现在输入张量维度为torch.Size([64, 3, 22, 14])，依旧报错 RuntimeError

运用机器学习（含深度学习）方法处理数据问题的完备流程总结+实践经验细节+代码工具书（4）：神经网络机器学习模型的搭建与训练阶段

weixin_44563688的博客

03-31

3521

本篇为工具书（4），使用经过数据处理阶段处理过的数据，进行神经网络机器学习模型的搭建及训练阶段的相关流程（代码基于python3）：什么是好的机器学习模型/如何得到好的模型+数据分析阶段:https://blog.youkuaiyun.com/weixin_44563688/article/details/86535274 前置数据处理阶段: https://blog.youkuaiyun.com/weixin_445...

【人工智能项目】小车障碍物识别与模型训练（完整工程资料源码）

嵌入式技术开发

05-23

1700

在深入探讨AlexNet之前，我们先回顾一下它的前身——LeNet模型。LeNet模型由两个核心部分组成：卷积层模块和全连接层模块。卷积层模块的核心组件是卷积层与最大池化层的组合，这种组合在模型中重复出现两次。卷积层通过使用5x5的窗口来捕捉图像中的局部特征，如线条和物体的特定部分，而紧随其后的最大池化层则通过降低特征图的空间分辨率来减少对位置变化的敏感性。在卷积层模块中，第一个卷积层配置了6个输出通道，而第二个卷积层则扩展到16个输出通道。

一切皆是映射：DQN的故障诊断与调试技巧：如何快速定位问题

热门推荐

寒小阳

09-24

3万+

我经常被问到诸如`如何从深度学习模型中得到更好的效果`的问题，类似的问题还有：我如何提升准确度,如果我的神经网络模型性能不佳，我能够做什么？对于这些问题，我经常这样回答，“我并不知道确切的答案，但是我有很多思路”，接着我会列出了我所能想到的所有**或许能够给性能带来提升**的思路，。为避免一次次罗列出这样一个简单的列表，我决定把所有想法详细写在这篇博客里。这些思路应该是通用的

cnn-欠拟合(underfitting)

zzh_hn的专栏

01-06

1907

模型不能很好拟合数据,称之为欠拟合直白的说：模型没有找到数据规律或不完整，泛化能力不强。在训练和测试数据集上，预测或训练结果都和真实结果相差很远。一般解决方法增加新特征，可以考虑加入进特征组合、高次特征，来增大假设空间；添加多项式特征，这个在机器学习算法里面用的很普遍，例如将线性模型通过添加二次项或者三次项使模型泛化能力更强；减少正则化参数，正则化的目的是用...

欠拟合、过拟合及其解决方法

willduan的博客

11-08

7519

在我们机器学习或者训练深度神经网络的时候经常会出现欠拟合和过拟合这两个问题，但是，一开始我们的模型往往是欠拟合的，也正是因为如此才有了优化的空间，我们需要不断的调整算法来使得模型的表达能拿更强。但是优化到了一定程度就需要解决过拟合的问题了，这个问题也在学术界讨论的比较多。（之前搜了很多有的博客，讲的都不太全，因此我重新整理总结了一遍，同时加入了自己的理解，方便自己和后来人查阅）首先就是我们...

Keras模型测试准确率震荡大

qq_42825202的博客

10-22

8588

今天在Keras训练了一个模型，发现模型的训练accuracy和测试accuracy的准确率偏差比较大，如下在问了些大佬后（感谢大佬），我的这个原因很可能是因为过拟合导致的差距比较大，之后在每个层之间都加入了dropout，再重新训练模型得到了下面这样的效果：可以看到，效果还是很明显的，接下来就是调整dropout里面的参数和dropout层数的事情了。当然，有些模型accuracy震荡比较...

从零开始搭建CNN与ResNet模型训练有效性验证

具体来说，我们不仅会了解CNN的基本原理和结构，还会学习如何搭建和训练一个简单的CNN模型。同时，我们将深入了解ResNet的结构特点，并探讨为何它仍然是CNN的一种，尽管它具有跳过连接等独特的架构设计。此外，我们...