CNN理论基础

最新推荐文章于 2025-06-30 10:34:35 发布
最新推荐文章于 2025-06-30 10:34:35 发布
阅读量1.4k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/fu6543210/article/details/80512113

参考：

http://x-algo.cn/index.php/2016/12/22/1318/

Inception v1

目标

人类的大脑可以看做是神经元的重复堆积，Inception网络存在的原因就是想找构造一种「基础神经元」结构。人类的神经元之间链接往往是稀疏链接，所以就是寻找「稀疏网络」的稠密表示，并希望这个稠密网络在效果上可以「接近」甚至「超越」稀疏链接的网络。

1x1卷积层

对特征降维，一方面可以解决计算瓶颈，同时限制网络的参数大小，可以将网络做的更「宽」和更「深」，效果也不差。

线性激活

整个GoogLeNet的卷积层和Inception单元内部，都是采用线性激活函数。

单元结构

QQ20161201-0

整体结构

googlenet_diagram

QQ20161223-1

论文：Going deeper with convolutions

Batch Normalization

就是添加了一个归一化层。简称BN（Batch Normalization）。

在一个多层的神经网络中，如果前一层的参数发生了变化，就会导致前一层的输出「分布」发生改变，这种改变又会导致当前层的学习受到很大的影响，例如学习速度变慢、初始化参数对最终训练结果影响很大。所以，一种直观的想法就是在两层之间添加一层「归一化」层，从而消除这种分布的改变，提升训练的速度且不过渡依赖初始化参数。

这种分布变化的现象称为「Internal Covariate Shift」，早年是有解决方案「domain adaptation」。

梯度弥散（梯度消失）

如果激活函数式sigmoid函数，反向传播的之后只会在 |x||x| 较小的地方梯度值比较大，别的部分梯度很快接近为0，改变这种状况通常可以通过ReLU（Rectified Linear Units）激活函数/合理的初始化参数/合理的学习率来解决。导致反馈对权重的改变没作用了。

归一化之后，可以将非线性激活函数的效用得到提高，有效避免了数据集中落在一个取值区域。

白化（whitening）

http://ufldl.stanford.edu/wiki/index.php/Whitening

我们已经了解PCA降低数据维度。在一些算法中还需要一个与之相关的预处理步骤，这个预处理过程称为白化（一些文献中也叫sphering）。举例来说，假设训练数据是图像，由于图像中相邻像素之间具有很强的相关性，所以用于训练时输入是冗余的。白化的目的就是降低输入的冗余性；更正式的说，我们希望通过白化过程使得学习算法的输入具有如下性质：(i)特征之间相关性较低；(ii)所有特征具有相同的方差。


2D 的例子

下面我们先用前文的2D例子描述白化的主要思想，然后分别介绍如何将白化与平滑和PCA相结合。

如何消除输入特征之间的相关性? 在前文计算 \textstyle x_{\rm rot}^{(i)} = U^Tx^{(i)} 时实际上已经消除了输入特征\textstyle x^{(i)}之间的相关性。得到的新特征 \textstyle x_{\rm rot} 的分布如下图所示：

PCA-rotated.png

这个数据的协方差矩阵如下：

\begin{align}\begin{bmatrix}7.29 & 0 \\0 & 0.69\end{bmatrix}.\end{align}

(注: 严格地讲, 这部分许多关于“协方差”的陈述仅当数据均值为0时成立。下文的论述都隐式地假定这一条件成立。不过即使数据均值不为0，下文的说法仍然成立，所以你无需担心这个。)

最低0.47元/天 解锁文章

200万优质内容无限畅学
CNN卷积神经网络：理论基础、核心架构与多元应用
JINGWHALE
05-23 970
CNN是一种深度学习模型，利用卷积层提取图像特征，池化层降维与增强不变性，全连接层实现分类/回归。核心理论包括局部感知、权值共享、多层抽象。广泛应用图像识别、目标检测、语义分割、生成任务等领域。
计算机视觉卷积神经网络（CNN）基础：从LeNet到ResNet
热门推荐
优快云博客专家，系统架构师，有合作、疑惑请私信博主。
04-11 14万+
计算机视觉卷积神经网络（CNN）基础：从LeNet到ResNet，在计算机视觉领域，卷积神经网络（Convolutional Neural Network，CNN）已然成为推动众多任务发展的核心力量。从早期简单的图像识别，到如今复杂的目标检测、语义分割、图像生成等任务，CNN 都展现出了卓越的性能。CNN 的发展历程见证了一系列经典模型的诞生，其中 LeNet 作为开山之作，为 CNN 的发展奠定了基础，而 ResNet 则通过创新性的设计，突破了传统神经网络的限制，使得网络能够构建得更深、性能更优。
深度学习笔记五：卷积神经网络CNN(基本理论)
谢小小XH
12-29 2万+
卷积神经网络基本理论
残差网络 (Residual Network, ResNet)
最新发布
一位热衷于机器学习的博主，致力于将复杂的AI算法化繁为简。分享代码实战与前沿洞见，与你一同探索人工智能的奇妙世界。
06-30 890
核心贡献：ResNet通过引入“捷径连接”和“残差学习”的概念，优雅地解决了深度网络的退化问题。关键机制的结构使得网络学习恒等映射变得极其容易（只需让F(x)趋近于0），从而保证了增加网络深度不会带来性能下降。巨大影响ResNet 赢得了 ILSVRC 2015 图像分类、检测、定位等多项竞赛的冠军。它使得训练上百层甚至上千层的神经网络成为现实，极大地推动了深度学习的发展。
CNN中的基本原理
Miracle_520的博客
06-21 4595
1.CNN基本原理(对应相乘再相加) 卷积神经网络能够识别图像，它的理论依据是卷积可以识别边缘，识别纹理，然后通过不断的卷积，提取出抽象的特征，最终实现图像识别。 局部感知 在传统神经网络中每个神经元都要与图片上每个像素相连接，这样的话就会造成权重的数量巨大造成网络难以训练。而在含有卷积层的的神经网络中每个神经元的权重个数都时卷积核的大小，这样就相当于没有神经元只与对应图片部分的像素相连接。这样就...
CNN基础
flora
06-12 205
CNN基础卷积核卷积核的形状、个数卷积核的计算1x1 卷积核的作用感受野卷积类型全连接层空洞卷积深度可分离卷积 卷积核 卷积核的形状、个数 卷积核的个数 卷积核的个数等于输出的通道数，即下一层需要多少feature map，本层就需要多少个卷积核。 卷积核的形状 每个卷积核具有长宽深三个维度，长宽人为指定，一般为奇数(1x1,3x3,5x5) 卷积核的深度与要卷积的图像的深度相同，即图像深度为3则卷积核的深度也为3 卷积核的计算 卷积核的计算过程 输入图像的深度(通道数)为n则就有n张feature
深度学习-CNN基本原理
qq_35912099的博客
07-18 319
基本结构 W和X的计算过程 尺寸计算 权重共享的重要性 公式 下采样 Mean Max
CNN简单介绍及基础知识
尚拙的博客
06-26 1万+
文章目录 一）卷积神经网络历史沿革 二）CNN简单介绍 三）CNN相关基础知识 前言 在过去的几年里，卷积神经网络(CNN)引起了人们的广泛关注，尤其是因为它彻底改变了计算机视觉领域，它是近年来深度学习能在计算机视觉领域取得突破性成果的基石。它也逐渐在被其他诸如自然语言处理、推荐系统和语音识别等领域广泛使用。在这里，主要从三个方面介绍CNN， （1）CNN历史发展 （2）CNN简单介绍 （3）CNN相关基础知识 一、卷积神经网络历史沿革 卷积神经网络的发展最早可...
Faster R-CNN理论整理
12-12
它是在R-CNN（Region-based Convolutional Neural Network）和Fast R-CNN的基础上进一步优化的版本，显著提高了目标检测的速度和准确性。 Faster R-CNN的核心在于其一体化的网络架构，它将特征提取、区域提议生成、...
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
Morganfs的博客
04-12 11万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
CNN.zip_CNN_c++ cnn_fifteen53i_wexpf
09-21
1. **CNN理论基础**： - **卷积层（Convolutional Layer）**：CNN的核心组件，通过卷积核对输入数据进行扫描，提取特征。 - **池化层（Pooling Layer）**：降低数据的空间维度，减少计算量，同时保持模型的泛化...
非常直观的讲述了CNN的工作原理
02-27
非常直观的讲述了CNN的工作原理，来自brohrer@Microsoft.com
卷积神经网络CNN基本原理
weixin_48402168的博客
11-28 7503
卷积神经网络CNN基本原理 卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一，擅长处理图像特别是图像识别等相关机器学习问题。 卷积神经网络的基本结构大致包括：卷积层、激活函数、池化层、全连接层、输出层等。 卷积层（Convolutional layer），卷积神经网路中每层卷积层由若干卷积单元组成，每个卷
CNN神经网络的基本原理
weixin_45951391的博客
04-30 1735
本文介绍了CNN神经网络的基本原理，包括卷积层、激活函数、池化层和全连接层等核心组件，以及如何使用这些组件搭建一个完整的CNN模型。CNN模型在计算机视觉等领域具有优异的性能，是深度学习领域的重要研究方向。通过理解和掌握CNN模型的基本原理，我们可以更好地应用CNN解决实际问题，推动深度学习技术的发展和应用。为了在MATLAB中实现上述简单的CNN模型，我们可以使用MATLAB的深度学习工具箱。% 导入相关工具包clc;clear;close all;% 加载MNIST数据集。
CNN基础知识
weixin_45868623的博客
05-19 3446
本篇文章参考其他文章、博客、定义等参考，自己总结的，如有侵权，请联系删除。 CNN全称 卷积神经网络（Convolutional Neural Networks, CNN） 卷积神经网络是通过神经网络反向传播自动学习的手段，来得到各种有用的卷积核的过程。 卷积神经网络通过卷积和池化操作，自动学习图像在各个层次上的特征，这符合我们理解图像的常识。人在认知图像时是分层抽象的，首先理解的是颜色和亮度，然后是边缘、角点、直线等局部细节特征，接下来是纹理、几何形状等更复杂的信息和结构，最后形成整个物体的概念。 典型的
笔记：CNN基础原理
qq_36753329的博客
03-06 532
什么是卷积 卷积是通过俩个函数生成第三个函数的一种数学算子。对于图像，通过filter与原图像矩阵的生成基于filter的图像特征矩阵。 对于64*64大小的图像，如果图像使用R,G,B三通道存储，那么我们的输入图像矩阵为(64, 64, 3)，每个元素的值由0到255。如果这时我们使用卷积核filter大小为(3, 3)的二维矩阵来提取图像的某一个特征F，那么得到的就是基于该特征F的图像特征...
卷积神经网络CNN基本原理和相关基本概念
爱问西瓜爱大树的博客
08-04 2848
详细解释卷积神经网络CNN的原理和一些基本概念
CNN原理简述
杨羊不是羊的博客
05-18 2537
一、传统神经网络与卷积神经网络 传统多层神经网络 传统意义上的多层神经网络是只有输入层、隐藏层、输出层。 卷积神经网络 卷积神经网络CNN，在原来多层神经网络的基础上，加入了更加有效的特征学习部分，具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与池化层。 二、CNN的结构 卷积层(Convolutional Layer) 池化层(Max Pooling Layer) 全连接层(Fully Connected Layer) 卷积层（卷积+激活） 神经网络(neural networks)的基本组
一文看懂卷积神经网络-CNN（基本原理+独特价值+实际应用）
Liyiming
12-27 8018
卷积神经网络 – CNN 最擅长的就是图片的处理。它受到人类视觉神经系统的启发。 CNN 有2大特点： 能够有效的将大数据量的图片降维成小数据量 能够有效的保留图片特征，符合图片处理的原则 目前 CNN 已经得到了广泛的应用，比如：人脸识别、自动驾驶、美图秀秀、安防等很多领域。 CNN 解决了什么问题？ 在 CNN 出现之前，图像对于人工智能来说是一个难题，有2个原因： 图像需要处理的数据量太大，导致成本很高，效率很低 图像在数字化的过程中很难保留原有的特征，导致图像处理的准确率...
CNN理论基础局部感知野
04-24
### 局部感知野的概念及其在CNN中的作用 卷积神经网络（Convolutional Neural Network, CNN）的核心理论之一是 **局部感受野**（Local Receptive Fields），这一概念来源于生物神经系统的研究成果，模仿了视觉皮层中简单细胞的感受特性[^3]。 #### 1. 局部感受野的定义 局部感受野指的是每个神经元仅与输入数据的一部分区域相连，而不是像传统的多层感知机那样实现全局连接。这种机制显著减少了参数数量并提升了计算效率[^2]。例如，在处理二维图像时，每一个卷积核只覆盖一小部分像素范围，这些被覆盖的部分即构成了该神经元的局部感受野。 #### 2. 局部感受野的作用 - **减少参数量**：由于每个神经元只需学习与其对应的局部区域特征有关的信息，因此相比全连接方式大幅降低了所需权重的数量。 - **增强空间不变性**：即使目标物体的位置发生轻微偏移，只要仍处于某个神经元的感受范围内，则不会影响最终输出结果。 - **提取多层次特征**：随着层数增加，高层级上的节点会逐渐汇聚来自低层级多个较小感受域的内容形成更大规模的整体表示形式。 #### 3. 数学表达 假设有一个大小为 \(H \times W\) 的输入图片经过尺寸为 \(K \times K\) 的滤波器扫描后得到的新图像是 \(O\),那么对于任意位置 (i,j)，新图像上对应点处数值可由如下公式计算得出： \[ O(i, j) = f(\sum_{m=0}^{K-1}\sum_{n=0}^{K-1}[I(i+m, j+n)*W(m,n)]+b)\] 这里\(f()\)代表激活函数；\(I(),W()\)& b分别指代原始输入矩阵、权重系数以及偏差项。此过程体现了单个神经单元如何基于有限邻近区域内样本值来做出响应决策的过程[^3]。 ```python import numpy as np def convolve(input_image, kernel_size=(3,3)): h,w=input_image.shape[:2] kh,kw=kernel_size output_height=h-kh+1 output_width=w-kw+1 result=np.zeros((output_height,output_width)) for i in range(output_height): for j in range(output_width): region=input_image[i:i+kh,j:j+kw] result[i][j]=np.sum(region*weight)+bias return result ``` 以上代码片段展示了基本的一维离散线性卷积运算逻辑简化版，实际应用当中还需要考虑边界条件填充等问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值