卷积神经网络（CNN）学习笔记

最新推荐文章于 2025-07-12 12:15:41 发布
最新推荐文章于 2025-07-12 12:15:41 发布
阅读量1.1w 收藏 31
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 机器学习 神经网络 cnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/huangbo10/article/details/24941079
本文记录了作者在实现卷积神经网络（CNN）过程中遇到的梯度消失问题及解决方案。通过减少层数、增大学习率和使用ReLU激活函数，有效缓解了梯度消失。此外，讨论了非线性映射的位置、权重衰减、随机梯度下降参数选择和网络改进策略，揭示了CNN训练的细节与技巧。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

起因

从去年开始接触神经网络，觉得CNN结构很简单没什么难的，直到有一天被一位拿过信息竞赛金牌的学弟鄙视了……中期答辩之后不忙，于是我花了几天用MATLAB写了一个CNN，算是给自己一个交代。


为什么用MATLAB？

  1. 相比c/c++，MATLAB实现更方便
  2. 我没打算写又快又漂亮的产品级的代码，只是希望抠一遍算法的各种细节，所以theano等各种成熟的工具包就不考虑了

实现

这篇文章不打算讲各种基础的细节，只是总结一下我踩的各种坑……

CNN训练无非是反向传播，现成的公式很容易找到，自己花一些时间也能推导出来。我参照的是这篇文章：

最低0.47元/天 解锁文章

200万优质内容无限畅学
【机器学习】——续上：卷积神经网络（CNN）与参数训练
weixin_51658186的博客
06-22 5076
此总结内容包括上次的神经网络与深度学习博客！深度学习是自动学习分类所需的低层次或高层次特征算法，例如机器视觉，深度学习算法从原始图像去学习得到它的低层次表达（例如边缘），之后在低层次表达的基础上，通过线性或非线性的组合在建立高层次的表达。深度学习能更好地表示数据特征。由于模型层次、参数很多，因此模型有能力处理大规模数据，对于图像、语音这种特征不明显的问题，能通过大规模数据训练取得很好效果。此外，深度学习框架将特征提取和分类整合在一个框架。
卷积神经网络CNN学习笔记
qq_33793792的博客
09-30 714
主要操作 卷积、非线性变换（ReLU）、池化或子采样、分类（完全连接层） 卷积 卷积的主要目的是从输入图像中提取特征。 卷积的解释：将橙色矩阵在原始图像（绿色）上以每次1个像素的速率（也称为“步幅”）移动，对于每个位置，计算两个矩阵相对元素的乘积并相加，输出一个整数并作为最终输出矩阵（粉色）的一个元素。 在卷积神经网路的术语中，这个3 × 3矩阵被称为“过滤器”或“核”或“特征探测器”，通过在图...
深入浅出——搞懂卷积神经网络的过拟合、梯度弥散、batchsize的影响的问题（二）
AIGC | 智能洞察，创造未来
04-23 3万+
过拟合 梯度弥散 batchsize 不平衡数据集
激活函数是什么？常用的激活函数：ReLU函数、sigmoid函数和tanh函数
最新发布
wh1236666的博客
07-12 765
第一个图展示 Sigmoid 函数本身的非线性特性（将输入映射到 (0,1) 区间）；第二个图展示 Sigmoid 导数的分布特性（中间大、两边小，易导致梯度消失）。
cnn训练出现的问题
keyanxiaocaicai的专栏
12-31 624
我的水表数据是10W 多张： 可是我转成LMDB的时候： 确实这样的： 才三万多张，啥原因？ train 的list god？ what is the reason for this？
深度学习之问题记录--fast r-cnn训练过程
a443838772的博客
03-12 1346
由于现在已经运行成功了，当时的问题没有及时记录下来，现在只能凭记忆把这些问题写出来 问题1：MATLAB command 'matlab' not found. Please add 'matlab' to your PATH. 解决方法：这个问题困扰了我一天多时间，明明已经把MATLAB的路径添加上去了，为什么还是出现这个问题呢？心灰意冷了，只能把￥fast-rcnn_root\tools\
卷积神经网络（三）面临的挑战与改进措施
wanglele1的博客
08-04 2663
** 一，面临的挑战 ** 1，梯度消失问题 2，退化问题
卷积神经网络CNN学习笔记 pdf
11-07
卷积神经网络（CNN）是一种深度学习模型，尤其在图像识别和分类领域表现出色。CNN能够自动且有效地从图像中提取特征进行学习和识别，其在处理具有类似结构的数据时显示了非常好的性能。CNN之所以高效，是因为它能够...
5-机器学习系列（5）：卷积神经网络CNN之--原理及python实现1
08-03
卷积神经网络CNN之原理及Python实现 卷积神经网络（CNN）是一种流行的神经网络结构，广泛应用于计算机视觉领域。CNN的原理是基于卷积运算和池化层，旨在提取图像中的边缘信息和特征。下面是卷积神经网络的原理和...
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 11万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
卷积神经网络知识学习笔记
02-24
本文来自简书，本文主要讲解了卷积神经网络知识，包括卷积层和池化层的介绍，希望对您的学习有所帮助。卷积神经网络（CNN）是含有卷积层（convolutionallayer）的神经网络，二维卷积层有高和宽两个空间维度，常用来...
cnn卷积神经网络反向传播,卷积神经网络维度变化
神经网络爱好者
08-07 805
深度学习框架，尤其是基于人工神经网络的框架可以追溯到1980年福岛邦彦提出的新认知机[2]，而人工神经网络的历史更为久远。1989年，燕乐存（YannLeCun）等人开始将1974年提出的标准反向传播算法[3]应用于深度神经网络，这一网络被用于手写邮政编码识别。尽管算法可以成功执行，但计算代价非常巨大，神经网路的训练时间达到了3天，因而无法投入实际使用[4]。...
【CNN】设计cnn网络并调参
xudawu201的博客
06-25 715
6.如果全连接层后在网络内部定义了softmax()会将误差缩小，降低loss梯度的区分度，和梯度消失一样，模型训练不收敛。2.小卷积核1、3、5，大卷积核7、11，步长最好小于卷积核，使得卷积过程有覆盖，步长代表提取图像特征的精度。小卷积核更能捕获局部视野，计算量随之减小，大卷积核更注重全局，计算量增大。5.激活函数选GELU()，激活函数很重要，多个激活函数组合可以扭曲各层数据的线性组合，将网络变得复杂，扭曲的空间曲面更容易拟合分类边界。卷积层（Conv），卷积核的权重和偏置。
【干货】基于pytorch的CNN、LSTM神经网络模型调参小结
zenRRan的博客
03-07 7942
Demo 这是最近两个月来的一个小总结，实现的demo已经上传github，里面包含了CNN、LSTM、BiLSTM、GRU以及CNN与LSTM、BiLSTM的结合还有多层多通道CNN、LSTM、BiLSTM等多个神经网络模型的的实现。这篇文章总结一下最近一段时间遇到的问题、处理方法和相关策略，以及经验（其实并没有什么经验）等，白菜一枚。 Demo Site: https://github....
CNN 的两个弊端
长风破浪会有时，直挂云帆济沧海
01-26 8086
CNN 的两个弊端 原文 - What is wrong with Convolutional neural networks ? 自从Alex Krizhevsky 等论文 ImageNet Classification with Deep Convolutional Networks 在 NIPS2012 发表开始，CNN 已经成为很多领域十分重要的工具，深度学习已很普遍. 基于 CNN...
《南溪的目标检测学习笔记》CNN调参笔记
墨门
10-26 954
1 致谢 感谢赵老师的教导！
卷积神经网络CNN特点功能及其缺陷
qq_43232556的博客
06-22 5万+
卷积神经网络CNN特点功能及其缺陷卷积神经网络（CNN）中的模块及其功能作用CNN的目的特征卷积与特征提取卷积的特点：局部感知、参数共享、多核Down-Pooling多层卷积池化激活函数的意义LRN的催化与抑制Dropout的作用卷积神经网络中的局部连接卷积神经网络中的权值共享卷积神经网络的平移不变性卷积的缺陷坐标建模的任务上（如目标检测、图像生成等）的缺陷 卷积神经网络（CNN）中的模块及其功能作用 CNN的目的 CNN的目的是以一定的模型对事物进行特征提取，而后根据特征对该事物进行分类、识别、预测或决策
卷积神经网络详解
ShiningLeeJ的博客
09-13 1756
卷积神经网络详解，通过与全连接神经网络对比引出卷积神经网络，对卷积神经网络进行介绍。同时还有对卷积神经网络的优化：残差，batchnormal，信息瓶颈，分离卷积，通道混洗
深度学习笔记-15.CNN中常见的问题
01-06 4334
目录 1.卷积核有什么类型？ 2. 为什么现在倾向于用小尺寸的卷积核？ 3. 有哪些池化方法？ 4. 怎样才能减少卷积层参数量？ 5. CNN做卷积的运算时间复杂度、空间复杂度？ 5.1 复杂度对模型的影响 5.2 时间复杂度 5.3 空间复杂度 6. 解释下卷积神经网络中感受野Receptive field (RF)的概念？ 6.1 感受野Receptive field ...
卷积神经网络CNN详解：从基础知识到LeNet
"该资源是一份关于卷积神经网络（CNN）的快速入门笔记，涵盖了CNN的基本概念，包括LeNet模型的介绍，卷积、非线性处理、池化和全连接层等核心组件的详细解释。" 卷积神经网络（CNN）是一种专门用于处理具有网格结构...
评论 16
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值