卷积神经网络（CNN）的数学原理解析

前言

本篇主要分享卷积神经网络（CNN）的数学原理解析，会让你加深理解神经网络如何工作于CNNs。出于建议，这篇文章将包含相当复杂的数学方程，如果你不习惯线性代数喝微分也没事，目的不是记住这些公式，而是对下面发生的事情有一个直观的认识。

可视化和注释的完整源码：

GitHub：https://github.com/SkalskiP/ILearnDeepLearning.py

1、介绍

过去我们已经知道了这些紧密连接的神经网络。这些网络的神经元被分成若干组，形成连续的层layer。每一个这样的神经元都与相邻层的每一个神经元相连。下图显示了这种体系结构的一个示例。

图1 密集连接的神经网络结构

当我们根据一组有限的人工设计的特征来解决分类问题时，这种方法很有效。例如，我们根据足球运动员在比赛期间的统计数据来预测他的位置。然而，当处理照片时，情况变得更加复杂。当然，我们可以将每个像素的像素值作为单独的特征，并将其作为输入传递给我们的密集网络。

不幸的是，为了让该网络适用于一张特定的智能手机照片，我们的网络必须包含数千万甚至数亿个神经元。另一方面，我们可以缩小我们的照片，但在这个过程中，我们会丢失一些有用的信息。

我们立马意识到传统的策略对我们没有任何作用，我们需要一个新的有效的方法，以充分利用尽可能多的数据，但同时减少必要的计算和参数量。这就是CNN’s发挥作用的时候了。

2、数字图像的数据结构

让我们先花一些时间来解释数字图像是如何存储的。你们大多数人可能知道它们实际上是由很多数字组成的矩阵。每一个这样的数字对应一个像素的亮度。在RGB模型中，彩色图像实际上是由三个对应于红、绿、蓝三种颜色通道的矩阵组成的。

在黑白图像中，我们只需要一个矩阵。每个矩阵都存储0到255之间的值。这个范围是存储图像信息的效率（256之内的值正好可以用一个字节表达）和人眼的敏感度（我们区分有限数量的相同颜色灰度值）之间的折中。

图2 数字图像的**数据结构

3、卷积

核卷积不仅用于神经网络，而且是许多其他计算机视觉算法的关键一环。在这个过程中，我们采用一个形状较小的矩阵（称为核或滤波器），我们输入图像，并根据滤波器的值变换图像。后续的特征map值根据下式来计算，其中输入图像用 f 表示。我们的kernel 用 h 表示，结果矩阵的行和列的索引分别用m和n表示。

图3 核卷积的列子

将过滤器放置在选定的像素上之后，我们从kernel中提取每个相应位置的值，并将它们与图像中相应的值成对相乘。最后，我们总结了所有内容，并将结果放在输出特征图的对应位置。

上面我们可以看到这样的操作在细节上是怎么实现的，但是更让人关注的是，我们通过在一个完整的图像上执行卷积可以实现什么应用。图4显示了几种不同滤波器的卷积结果。

图4 通过核卷积得到边缘

4、Valid 和 Same 卷积

如图3所示，当我们用

3\times 3

核对

6\times 6

的图像进行卷积时，我们得到了

4\times 4

的特征图。这是因为只有16个不同的位置可以让我们把滤波器放在这个图片里。因为每次卷积操作，图像都会缩小，所以我们只能做有限次数的卷积，直到图像完全消失。

更重要的是，如果我们观察卷积核如何在图像中移动，我们会发现位于图像边缘的像素的影响要比位于图像中心的像素小得多。这样我们就丢失了图片中包含的一些信息。通过下图，可以知道像素的位置如何改变其对特征图的影响。

图5 像素位置的影响

为了解决这两个问题，我们可以用额外的边框填充图像。例如，如果我们用 1px填充，我们将照片的大小增加到

8\times 8

，那么与

3\times 3

滤波器卷积的输出将是

6\times 6

。在实践中，我们一般用0填充额外的填充区域。这取决于我们是否使用填充，我们要根据两种卷积来判断-有效卷积核相同卷积。

这样命名并不是很合适，所以为了清晰可见：Valid表示我们仅使用原始图像，Same表示我们同时也考虑原图像的周围边框，这样输入和输出的图像大小是相同的。在第二种情况下。填充宽度应该满足以下方程，其中 p 为填充宽度和 f 是滤波器维度（一般为奇数）。

5、步幅卷积

图6 步幅卷积的例子

在前面的例子中，我们总是将卷积核每次移动一个像素。但是，步幅也可以看作卷积层超参数之一。在图6中，我们可以看到，如果我们使用更大的步幅，卷积看起来是什么样的。

在设计CNN架构时，如果希望感知区域的重叠更少，或者希望feature map的空间维度更小，我们可以决定增加步幅。输出矩阵的尺寸——考虑到填充宽度和步幅——可以使用以下公式计算。

6、过渡到三维

空间卷积是一个非常重要的概念，它不仅能让我们处理彩色图像，更重要的是在单层中应用多个卷积核。第一个重要的原则是，过滤器和要应用它的图像必须具有相同通道数。基本上，这种方式与图3中的示例非常相似，不过这次我们将三维空间中的值与卷积核对应相乘。

如果我们想在同一幅图像上使用多个滤波器，我们分别对它们进行卷积，将结果叠在一个一起，并将它们组合成一个整体。接收张量的维数（即我们的三维矩阵）满足如下方程：n-图像大小，f-滤波器大小，nc-图像中的通道数，p-是否使用填充，s-使用的步幅，nf-滤波器个数。

图7 三维卷积

7、卷积层

**现在是时候运用我们今天所学的知识来构建我们的CNN层了。**我们的方法和我们在密集连接的神经网络中使用的方法几乎是一样的，唯一的不同是这次我们将使用卷积而不是简单的矩阵乘法。

正向传播包括两个步骤：

• 第一步是计算中间值Z,这是利用输入数据和上一层权重W张量(包括所有滤波器)获得的卷积的结果,然后加上偏置b。
• 第二步是将非线性激活函数的应用到获得的中间值上(我们的激活函数表示为g)。对矩阵方程感兴趣的读者可以在下面找到对应的数学公式。顺便说一下，在下图中你可以看到一个简单的可视化，描述了方程中使用的张量的维数。

图8 张量维度

8、连接剪枝和参数共享

在文章的开头，我提到密集连接的神经网络不擅长处理图像，这是因为需要学习大量的参数。既然我们已经理解了卷积是什么，让我们现在考虑一下它是如何优化计算的。

在下面的图中，以稍微不同的方式显示了二维卷积，以数字1-9标记的神经元组成了输入层，并接受图像像素亮度值，而A - D单元表示计算出的特征map元素。最后，I-IV是需要经过学习的卷积核的值。

图9 连接剪枝和参数共享

现在，让我们关注卷积层的两个非常重要的属性。

首先，你可以看到，并不是所有连续两层的神经元都相互连接。例如，神经元1只影响A的值。

其次，我们看到一些神经元共享相同的权重。这两个性质都意味着我们需要学习的参数要少得多。

顺便说一下，值得注意的是，滤波器中的一个值会影响特征map中的每个元素——这在反向传播过程中非常重要。

9、卷积反向传播

任何尝试过从头编写自己的神经网络代码的人都知道，完成正向传播还没有完成整个算法流程的一半。真正的乐趣在于你想要进行反向传播得到时候。现在，我们不需要为反向传播这个问题所困扰，我们可以利用深度学习框架来实现这一部分，但是我觉得了解底层是有价值的。就像在密集连接的神经网络中，我们的目标是计算导数，然后用它们来更新我们的参数值，这个过程叫做梯度下降。

在我们的计算中需要用到链式法则——我在前面的文章中提到过。我们想评估参数的变化对最终特征map的影响，以及之后对最终结果的影响。在我们开始讨论细节之前，让我们就对使用的数学符号进行统一——为了让过程更加简化，我将放弃偏导的完整符号，而使用如下所示的更简短的符号来表达。但记住，当我用这个符号时，我总是指的是损失函数的偏导数。

图10 单卷积层的输入和输出的正向和反向传播

我们的任务是计算dW[l]和db[l]——它们是与当前层参数相关的导数，以及dA[l -1]的值——它们将被传递到上一层。如图10所示，我们接收dA[l]作为输入。当然，张量dW和W、db和b以及dA和A的维数是相同的。第一步是通过对输入张量的激活函数求导得到中间值dZ[l]。根据链式法则，后面将使用这个操作得到的结果。

现在，我们需要处理卷积本身的反向传播，为了实现这个目的，我们将使用一个矩阵运算，称为全卷积，如下图所示。注意，在这个过程中，对于我们使用卷积核，之前我们将其旋转了180度。这个操作可以用下面的公式来描述，其中滤波器用W表示，dZ[m,n]是一个标量，属于上一层偏导数。

图11 全卷积

10、池化层

除了卷积层，CNNs还经常使用所谓的池化层。池化层主要用于减小张量的大小和加速计算。这种网络层很简单——我们需要将图像分割成不同的区域，然后对每个部分执行一些操作。

例如，对于最大值池化层，我们从每个区域中选择一个最大值，并将其放在输出中相应的位置。在卷积层的情况下，我们有两个超参数——滤波器大小和步长。最后一个比较重要的一点是，如果要为多通道图像进行池化操作，则应该分别对每个通道进行池化。

图12 最大值池化的例子

11、池化层反向传播

在本文中，我们将只讨论最大值池化的反向传播，但是我们将学习的规则只需要稍加调整就可以适用于所有类型的池化层。由于在这种类型的层中，我们没有任何必须更新的参数，所以我们的任务只是适当地分布梯度。正如我们所记得的，在最大值池化的正向传播中，我们从每个区域中选择最大值，并将它们传输到下一层。

因此，很明显，在反向传播过程中，梯度不应该影响矩阵中没有包含在正向传播中的元素。实际上，这是通过创建一个掩码来实现的，该掩码可以记住第一阶段中使用的值的位置，稍后我们可以使用该掩码来传播梯度。

适当地分布梯度。正如我们所记得的，在最大值池化的正向传播中，我们从每个区域中选择最大值，并将它们传输到下一层。

因此，很明显，在反向传播过程中，梯度不应该影响矩阵中没有包含在正向传播中的元素。实际上，这是通过创建一个掩码来实现的，该掩码可以记住第一阶段中使用的值的位置，稍后我们可以使用该掩码来传播梯度。

零基础如何高效学习大模型？

你是否懂 AI，是否具备利用大模型去开发应用能力，是否能够对大模型进行调优，将会是决定自己职业前景的重要参数。

为了帮助大家打破壁垒，快速了解大模型核心技术原理，学习相关大模型技术。从原理出发真正入局大模型。在这里我和鲁为民博士系统梳理大模型学习脉络，这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码免费领取🆓**⬇️⬇️⬇️

【大模型全套视频教程】

教程从当下的市场现状和趋势出发，分析各个岗位人才需求，带你充分了解自身情况，get 到适合自己的 AI 大模型入门学习路线。

从基础的 prompt 工程入手，逐步深入到 Agents，其中更是详细介绍了 LLM 最重要的编程框架 LangChain。最后把微调与预训练进行了对比介绍与分析。

同时课程详细介绍了AI大模型技能图谱知识树，规划属于你自己的大模型学习路线，并且专门提前收集了大家对大模型常见的疑问，集中解答所有疑惑！

深耕 AI 领域技术专家带你快速入门大模型

跟着行业技术专家免费学习的机会非常难得，相信跟着学习下来能够对大模型有更加深刻的认知和理解，也能真正利用起大模型，从而“弯道超车”，实现职业跃迁！

【精选AI大模型权威PDF书籍/教程】

精心筛选的经典与前沿并重的电子书和教程合集，包含《深度学习》等一百多本书籍和讲义精要等材料。绝对是深入理解理论、夯实基础的不二之选。

【AI 大模型面试题 】

除了 AI 入门课程，我还给大家准备了非常全面的**「AI 大模型面试题」，**包括字节、腾讯等一线大厂的 AI 岗面经分享、LLMs、Transformer、RAG 面试真题等，帮你在面试大模型工作中更快一步。

【大厂 AI 岗位面经分享（92份）】

【AI 大模型面试真题（102 道）】

【LLMs 面试真题（97 道）】

【640套 AI 大模型行业研究报告】

【AI大模型完整版学习路线图（2025版）】

明确学习方向，2025年 AI 要学什么，这一张图就够了！

👇👇点击下方卡片链接免费领取全部内容👇👇

抓住AI浪潮，重塑职业未来！

科技行业正处于深刻变革之中。英特尔等巨头近期进行结构性调整，缩减部分传统岗位，同时AI相关技术岗位（尤其是大模型方向）需求激增，已成为不争的事实。具备相关技能的人才在就业市场上正变得炙手可热。

行业趋势洞察：

• 转型加速： 传统IT岗位面临转型压力，拥抱AI技术成为关键。
• 人才争夺战： 拥有3-5年经验、扎实AI技术功底和真实项目经验的工程师，在头部大厂及明星AI企业中的薪资竞争力显著提升（部分核心岗位可达较高水平）。
• 门槛提高： “具备AI项目实操经验”正迅速成为简历筛选的重要标准，预计未来1-2年将成为普遍门槛。

与其观望，不如行动！

面对变革，主动学习、提升技能才是应对之道。掌握AI大模型核心原理、主流应用技术与项目实战经验，是抓住时代机遇、实现职业跃迁的关键一步。

01 为什么分享这份学习资料？

当前，我国在AI大模型领域的高质量人才供给仍显不足，行业亟需更多有志于此的专业力量加入。

因此，我们决定将这份精心整理的AI大模型学习资料，无偿分享给每一位真心渴望进入这个领域、愿意投入学习的伙伴！

我们希望能为你的学习之路提供一份助力。如果在学习过程中遇到技术问题，也欢迎交流探讨，我们乐于分享所知。

*02 这份资料的价值在哪里？*

专业背书，系统构建：

• 本资料由我与鲁为民博士共同整理。鲁博士拥有清华大学学士和美国加州理工学院博士学位，在人工智能领域造诣深厚：

• • 在IEEE Transactions等顶级学术期刊及国际会议发表论文超过50篇。
  • 拥有多项中美发明专利。
  • 荣获吴文俊人工智能科学技术奖（中国人工智能领域重要奖项）。

• 目前，我有幸与鲁博士共同进行人工智能相关研究。

内容实用，循序渐进：

• 资料体系化覆盖了从基础概念入门到核心技术进阶的知识点。

• 包含丰富的视频教程与实战项目案例，强调动手实践能力。

• 无论你是初探AI领域的新手，还是已有一定技术基础希望深入大模型的学习者，这份资料都能为你提供系统性的学习路径和宝贵的实践参考，助力你提升技术能力，向大模型相关岗位转型发展。

  

抓住机遇，开启你的AI学习之旅！