深度学习教程(10) | 卷积神经网络解读(吴恩达·完整版)

吴恩达深度学习笔记——卷积神经网络(CNN) 目录 一、计算机视觉(Computer vision) 二、边缘检测示例(Edge detection example) 三、更多的边缘检测内容(More edge detection) 四、Padding 五、卷积步长(Strided convolution) 六、三维卷积(Convolution over volumes) 七、单层卷积网络(One layer of a c... 阅读详情


第4门课 卷积神经网络,第1周:卷积神经网络

本系列为吴恩达老师《深度学习专项课程(Deep Learning Specialization)》学习与总结整理所得,对应的课程视频可以在这里查看。

引言

在ShowMeAI前一篇文章 AI应用实践策略(下) 中我们对以下内容进行了介绍:

  • 错误分析(error analysis)
  • 错误标签情况及修正
  • 数据分布和数据不匹配问题及解决办法
  • 迁移学习
  • 多任务学习
  • 端到端学习

本篇开始,我们对吴恩达老师第4门课《Convolutional Neural Networks》(卷积神经网络)做总结梳理。内容主要覆盖卷积神经网络(CNN)的基本概念、模型和具体应用等。

1.计算机视觉

计算机视觉 Computer Vision

**计算机视觉(Computer Vision)**的高速发展标志着新型应用产生的可能,例如自动驾驶、人脸识别、创造新的艺术风格。人们对于计算机视觉的研究也催生了很多计算机视觉与其他领域的交叉成果。如下是一些典型的计算机视觉场景应用场景:

计算机视觉的应用

后面部分ShowMeAI会根据吴恩达老师的课程给大家讲到以下CV应用:

  • 图片分类(Image Classification)
  • 目标检测(Object detection)
  • 神经风格转换(Neural Style Transfer)

使用传统神经网络处理机器视觉面临的一个挑战是数据的输入可能会非常大。例如一张 1000 × 1000 × 3 1000 \times 1000 \times 3 1000×1000×3 的图片,神经网络输入层的维度将高达三百万,使得网络权重 W W W 非常庞大。这样会造成两个后果:

  • 神经网络结构复杂,数据量相对较少,容易出现过拟合。
  • 所需内存和计算量巨大。

因此,一般的神经网络很难处理海量图像数据。解决这一问题的方法就是使用特殊结构的神经网络:卷积神经网络(Convolutional Neural Network, CNN)。

2.卷积运算

前面的文章里讲到过,神经网络由浅层到深层,分别可以检测出不同层次的信息,在计算机视觉中我们依托深度卷积神经网络,来依次学习理解图片的边缘特征、局部特征(例如眼睛、鼻子等),直至最后一层综合前面检测的特征来识别整体图像内容。

卷积神经网络初步

卷积运算(Convolutional Operation)是卷积神经网络最基本的组成部分。我们以边缘检测为例,来解释卷积是怎样运算的。

2.1 边缘检测

边缘检测示例 Edge Detection Example

如下图所示,以人脸识别为例,神经网络由浅层到深层,分别可以检测出图片的边缘特征 、局部特征(例如眼睛、鼻子等)、整体面部轮廓等。

模型层次与作用

图片最常做的边缘检测有两类:垂直边缘(Vertical Edges)检测和水平边缘(Horizontal Edges)检测。

边缘检测算子

图片的边缘检测可以通过与相应滤波器进行卷积来实现。以垂直边缘检测为例,原始图片尺寸为 6 × 6 6 \times 6 6×6,中间的矩阵被称作滤波器(filter),尺寸为 3 × 3 3 \times 3 3×3,卷积后得到的图片尺寸为 4 × 4 4 \times 4 4×4,得到结果如下(数值表示灰度,以左上角和右下角的值为例):

垂直边缘检测卷积运算

上图只显示了卷积后的第一个值和最后一个值。卷积运算的求解过程是从左到右,由上到下,每次在原始图片矩阵中取与滤波器同等大小的一部分,每一部分中的值与滤波器中的值对应相乘后求和,将结果组成一个矩阵。

下图对应一个垂直边缘检测的例子:

垂直边缘检测卷积运算

如果将最右边的矩阵当作图像,那么中间一段亮一些的区域对应最左边的图像中间的垂直边缘。

这里有另一个卷积运算的动态的例子,方便理解:

卷积运算

图中的*表示卷积运算符号。在计算机中这个符号表示一般的乘法,而在不同的深度学习框架中,卷积操作的API定义可能不同:

  • 在Python中,卷积用conv_forward()表示;
  • 在Tensorflow中,卷积用tf.nn.conv2d()表示;
  • 在Keras中,卷积用Conv2D()表示。

2.2 更多边缘检测的例子

更多边缘检测内容 More Edge Detection

如果将灰度图左右的颜色进行翻转,再与之前的滤波器进行卷积,得到的结果也有区别。实际应用中,这反映了由明变暗和由暗变明的两种渐变方式。可以对输出图片取绝对值操作,以得到同样的结果。

更多边缘检测算子-卷积运算

垂直边缘检测滤波器和水平边缘检测滤波器如下所示,其他常用的滤波器还有Sobel滤波器和Scharr滤波器,它们增加了中间行的权重,以提高结果的稳健性。

更多边缘检测算子

滤波器中的值还可以设置为参数,通过模型训练来得到。这样,神经网络使用反向传播算法可以学习到一些低级特征,从而实现对图片所有边缘特征的检测,而不仅限于垂直边缘和水平边缘。

3.填充padding

Padding

观察上述卷积图片,我们假设输入图片的大小为 n × n n \times n n×n,而滤波器的大小为 f × f f \times f f×f(注意 f f f一般为奇数),则卷积后的输出图片大小为 ( n − f + 1 ) × ( n − f + 1 ) (n-f+1) \times (n-f+1) (n−f+1)×(n−f+1)。

这样的处理会带来两个问题:

  • 每次卷积运算后,输出图片的尺寸缩小。
  • 原始图片的角落、边缘区像素点在输出中采用较少,输出图片丢失边缘位置的很多信息。

填充 padding

为了解决这些问题,可以在进行卷积操作前,对原始图片在边界上进行填充(Padding),以增加矩阵的大小,保证输出的尺寸以及边缘位置信息的有效利用。我们通常用 0 0 0进行填充。

设每个方向扩展像素点数量为 p p p,则填充后原始图片的大小为 ( n + 2 p ) × ( n + 2 p ) (n+2p) \times (n+2p) (n+2p)×(n+2p),滤波器大小保持 f × f f \times f f×f不变,则输出图片大小为 ( n + 2 p − f + 1 ) × ( n + 2 p − f + 1 ) (n+2p-f+1) \times (n+2p-f+1) (n+2p−f+1)×(n+2p−f+1)。

填充 padding

有两种对于 p p p的设置是最常见的:

  • Valid卷积:不进行填充,直接卷积。结果大小为 ( n − f + 1 ) × ( n − f + 1 ) (n-f+1) \times (n-f+1) (n−f+1)×(n−f+1)
  • Same卷积:进行填充,并保证卷积后结果大小与输入一致,此时 p = f − 1 2 p = \frac{f-1}{2} p=2f−1​

在计算机视觉领域, f f f通常为奇数。原因包括Same卷积中 p = f − 1 2 p = \frac{f-1}{2} p=2f−1​能得到自然数结果,并且滤波器有一个便于表示其所在位置的中心点。

4.卷积步长

卷积步长 Strided Convolutions

卷积过程中,有时需要通过填充来避免信息损失,有时也需要通过设置**步长(Stride)**来压缩一部分信息。

步长表示滤波器在原始图片的水平方向和垂直方向上每次移动的距离。之前,步长被默认为 1。而如果我们设置步长为2,则卷积过程如下图所示:

卷积步长

卷积步长

设步长stride为 s s s,padding填充大小为 p p p,输入图片大小为 n × n n \times n n×n,滤波器大小为 f × f f \times f f×f,则卷积后图片的尺寸为:

⌊ n + 2 p − f s + 1 ⌋ × ⌊ n + 2 p − f s + 1 ⌋ \biggl\lfloor \frac{n+2p-f}{s}+1 \biggr\rfloor \times \biggl\lfloor \frac{n+2p-f}{s}+1 \biggr\rfloor ⌊sn+2p−f​+1⌋×⌊sn+2p−f​+1⌋

上述公式中有一个向下取整的符号,用于处理商不为整数的情况。

我们前面看到的「卷积」实际上是互相关(cross-correlation),而非数学意义上的卷积。真正的卷积操作在做元素乘积求和之前,要将滤波器沿水平和垂直轴翻转(相当于旋转180度)。

卷积步长

因为这种翻转对一般为水平或垂直对称的滤波器影响不大,按照机器学习的惯例,我们通常不进行翻转操作,在简化代码的同时使神经网络能够正常工作。

5.高维卷积

三维卷积 Convolutions over Volumes

如果我们想要对三通道的RGB图片进行卷积运算,那么其对应的滤波器组也同样是三通道的。过程是将每个单通道 ( R , G , B ) (R,G,B) (R,G,B)与对应的滤波器进行卷积运算求和,然后再将三个通道的和相加,将这27个乘积的和作为输出图片的一个像素值。

高维卷积

实际的计算过程也同样会滑动覆盖所有输入通道和图片全部输入像素,如下动图所示:

![高维卷积](https://img-blog.csdnimg.cn/img_convert/ff0dbfe8eda4bf5d53a210470759ff55.gif)

不同通道的滤波器可以不相同。例如只检测 R R R通道的垂直边缘, G G G通道和 B B B通道不进行边缘检测,则 G G G通道和 B B B通道的滤波器全部置零。

当输入有特定的高、宽和通道数时,滤波器可以有不同的高和宽,但通道数必须和输入一致。

如果想同时检测垂直和水平边缘,或者更多的边缘检测,可以增加更多的滤波器组。例如第1个滤波器组实现垂直边缘检测,第2个滤波器组实现水平边缘检测。

高维卷积

设输入图片的尺寸为 n × n × n c n \times n \times n_c n×n×nc​( n c n_c nc​为通道数),滤波器尺寸为 f × f × n c f \times f \times n_c f×f×nc​,则卷积后的输出图片尺寸为 ( n − f + 1 ) × ( n − f + 1 ) × n ′ c (n-f+1) \times (n-f+1) \times n\prime_c (n−f+1)×(n−f+1)×n′c​, n ′ c n \prime_c n′c​为滤波器组的个数。

如下动图为2个滤波器对输入进行卷积计算得到输出的过程。

高维卷积

6.卷积神经网络单层结构

单层卷积网络 One Layer of a Convolutional Network

6.1 CNN单层结构

卷积神经网络的单层结构如下所示:与上面提到的卷积过程相比较,卷积神经网络的单层结构多了激活函数(上图使用的ReLU)和偏置量b;

卷积神经网络单层结构

对比标准神经网络:

Z [ l ] = W [ l ] A [ l − 1 ] + b Z^{[l]} = W^{[l]}A^{[l-1]}+b Z[l]=W[l]A[l−1]+b

A [ l ] = g [ l ] ( Z [ l ] ) A^{[l]} = g^{[l]}(Z^{[l]}) A[l]=g[l](Z[l])

卷积神经网络把上式中 W [ l ] W^{[l]} W[l]与 A [ l − 1 ] A^{[l-1]} A[l−1]的乘积运算换成了卷积运算,滤波器的取值对应着权重 W [ l ] W^{[l]} W[l],激活函数选择ReLU。

我们重点来看一下上图中参数的数目:每个滤波器组有 3 × 3 × 3 = 27 3 \times 3 \times 3 = 27 3×3×3=27个参数,还有1个偏移量b,则每个滤波器组有 27 + 1 = 28 27+1=28 27+1=28个参数,两个滤波器组总共包含 28 × 2 = 56 28 \times 2 = 56 28×2=56个参数。

而且大家会发现,一旦确定滤波器组,则参数数量就确定了,它与输入图片尺寸无关。大尺寸的图片也并不会在卷积层带来巨大的参数量。

一张 1000 × 1000 × 3 1000 \times 1000 \times 3 1000×1000×3的图片,标准神经网络输入层的维度将达到3百万,而在CNN中,参数数目只由滤波器组决定,数目相对来说要少得多,在如上的卷积神经网络层结构中,依旧只需要 56 56 56个参数。

6.2 CNN标记符号梳理总结

为了更规范,我们来约定一下CNN单层结构标记符号,设 l l l层为卷积层:

  • f [ l ] f^{[l]} f[l]:滤波器的高(或宽)
  • p [ l ] p^{[l]} p[l]:填充长度
  • s [ l ] s^{[l]} s[l]:步长
  • n c [ l ] n^{[l]}_c nc[l]​:滤波器组的数量
  • 输入维度: n H [ l − 1 ] × n W [ l − 1 ] × n c [ l − 1 ] n^{[l-1]}_H \times n^{[l-1]}_W \times n^{[l-1]}_c nH[l−1]​×nW[l−1]​×nc[l−1]​

其中 n H [ l − 1 ] n^{[l-1]}_H nH[l−1]​表示输入图片的高, n W [ l − 1 ] n^{[l-1]}_W nW[l−1]​表示输入图片的宽。之前的示例中输入图片的高和宽都相同,但是实际中可以是不同的,我们在这里加上下标予以区分。

  • 每个滤波器组的维度: f [ l ] × f [ l ] × n c [ l − 1 ] f^{[l]} \times f^{[l]} \times n^{[l-1]}_c f[l]×f[l]×nc[l−1]​。其中 n c [ l − 1 ] n^{[l-1]}_c nc[l−1]​为输入图片通道数(也称深度)。
  • 权重维度: f [ l ] × f [ l ] × n c [ l − 1 ] × n c [ l ] f^{[l]} \times f^{[l]} \times n^{[l-1]}_c \times n^{[l]}_c f[l]×f[l]×nc[l−1]​×nc[l]​
  • 偏置维度: 1 × 1 × 1 × n c [ l ] 1 \times 1 \times 1 \times n^{[l]}_c 1×1×1×nc[l]​
  • 输出维度: n H [ l ] × n W [ l ] × n c [ l ] n^{[l]}_H \times n^{[l]}_W \times n^{[l]}_c nH[l]​×nW[l]​×nc[l]​。

其中

n H [ l ] = ⌊ n H [ l − 1 ] + 2 p [ l ] − f [ l ] s [ l ] + 1 ⌋ n^{[l]}_H = \biggl\lfloor \frac{n^{[l-1]}_H+2p^{[l]}-f^{[l]}}{s^{[l]}}+1 \biggr\rfloor nH[l]​=⌊s[l]nH[l−1]​+2p[l]−f[l]​+1⌋

n W [ l ] = ⌊ n W [ l − 1 ] + 2 p [ l ] − f [ l ] s [ l ] + 1 ⌋ n^{[l]}_W = \biggl\lfloor \frac{n^{[l-1]}_W+2p^{[l]}-f^{[l]}}{s^{[l]}}+1 \biggr\rfloor nW[l]​=⌊s[l]nW[l−1]​+2p[l]−f[l]​+1⌋

对于m个样本的向量化运算,相应的输出维度为:

m × n H [ l ] × n W [ l ] × n c [ l ] m \times n^{[l]}_H \times n^{[l]}_W \times n^{[l]}_c m×nH[l]​×nW[l]​×nc[l]​

7.简单卷积网络示例

简单卷积网络示例 A Simple Convolution Network Example

下图为1个简单的CNN模型,我们来分析一下它的结构:

简单卷积网络示例

图示网络中, a [ 3 ] a^{[3]} a[3]的维度为 7 × 7 × 40 7 \times 7 \times 40 7×7×40,将其平展成1960维的单列形式,然后连接最后的输出层。输出层可以是一个神经元,即二元分类(logistic);也可以是多个神经元,即多分类(Softmax)。最后得到预测输出 y ^ \hat y y^​。

在典型的CNN结构里,随着神经网络计算深度不断加深,输入的高度和宽度 n H [ l ] n^{[l]}_H nH[l]​、 n W [ l ] n^{[l]}_W nW[l]​一般逐渐减小,而 n c [ l ] n^{[l]}_c nc[l]​在增加。

卷积神经网络包含有三种典型的层结构:

  • 卷积层(Convolution layer)
  • 池化层(Pooling layer,也有译作「汇合层」)
  • 全连接层(Fully Connected layer)

仅用卷积层也有可能构建出很好的神经网络,但很多神经网络还是会添加池化层和全连接层,它们更容易设计。

8.池化层

池化层 Pooling Layers

很多CNN中都会包含Pooling layers池化层,池化层的作用是缩减模型的大小,提高计算速度,同时减小噪声提高所提取特征的稳健性。

8.1 最大池化Max Pooling

有不同的池化操作,比较常见的一种叫做最大池化(Max Pooling)。将输入拆分成不同的区域,输出的每个元素都是对应区域中元素的最大值,如下图所示:

池化层/汇聚层 Pooling Layer

类比卷积过程,上图所示的池化过程中相当于使用了一个大小 f = 2 f=2 f=2的滤波器,且池化步长 s = 2 s=2 s=2。卷积过程中的几个计算大小的公式也都适用于池化过程。如果有多个通道,那么就对每个通道分别执行计算过程。

最大池化

对最大池化的一种直观解释是,元素值较大可能意味着池化过程之前的卷积过程提取到了某些特定的特征,池化过程中的最大化操作使得只要在一个区域内提取到某个特征,它都会保留在最大池化的输出中。但是,没有足够的证据证明这种直观解释的正确性,而最大池化被使用的主要原因是它在很多实验中的效果都很好。

8.2 平均池化Average Pooling

还有一种大家可能会见到的池化过程是平均池化(Average Pooling),它会对对应区域求平均值输出:

池化层/汇聚层

平均池化

8.3 池化层总结

池化过程的特点之一是,它有一组超参数,但是并没有参数需要学习。池化过程的超参数包括滤波器的大小 f f f、步长 s s s,以及选用最大池化还是平均池化。而填充 p p p则很少用到。

池化过程的输入维度为: n H × n W × n c n_H \times n_W \times n_c nH​×nW​×nc​

输出维度为: ⌊ n H − f s + 1 ⌋ × ⌊ n W − f s + 1 ⌋ × n c \biggl\lfloor \frac{n_H-f}{s}+1 \biggr\rfloor \times \biggl\lfloor \frac{n_W-f}{s}+1 \biggr\rfloor \times n_c ⌊snH​−f​+1⌋×⌊snW​−f​+1⌋×nc​

9.卷积神经网络示例

卷积神经网络示例 Convolutional Neural Network Example

卷积神经网络示例

在计算神经网络的层数时,通常只统计具有权重和参数的层,因此池化层通常和之前的卷积层共同计为一层。图中的FC3和FC4为全连接层,与标准的神经网络结构一致。整个神经网络各层的尺寸与参数如下表所示:

层次输出维度输出大小参数量
Input(32, 32, 3)30720
CONV1(f=5, s=1)(28, 28, 6)4704158
POOL1(14, 14, 6)11760
CONV2(f=5, s=1)(10, 10, 16)1600416
POOL2(5, 5, 16)4000
FC3(120, 1)12048120
FC4(84, 1)8410164
Softmax(10, 1)10850

推荐大家通过 直观感受卷积神经网络的网站 对CNN进行调试和可视化。

10.使用卷积的原因

为什么使用卷积? Why Convolutions?

根据前面的知识学习,大家知道,CNN相比于标准神经网络,能更好地适应高维度的大输入,其卷积设计有效地减少了CNN的参数数量。总结如下:

  • 参数共享(Parameter sharing):特征检测如果适用于图片的某个区域,那么它也可能适用于图片的其他区域。即在卷积过程中,不管输入有多大,一个特征探测器(滤波器)就能对整个输入的某一特征进行探测。

  • 稀疏连接(Sparsity of connections):在每一层中,由于滤波器的尺寸限制,输入和输出之间的连接是稀疏的,每个输出值只取决于输入在局部的一小部分值。

池化的设计,在卷积之后很好地聚合了特征,通过降维来减少运算量。

另外,吴恩达老师也说明了,由于CNN参数数量较小,所需的训练样本就相对较少,因此在一定程度上不容易发生过拟合现象。并且CNN比较擅长捕捉区域位置偏移。即进行物体检测时,不太受物体在图片中位置的影响,增加检测的准确性和系统的健壮性。

参考资料

ShowMeAI系列教程推荐

推荐文章

花书+吴恩达深度学习(十四)卷积神经网络 CNN 之经典案例(LetNet-5, AlexNet, VGG-16, ResNet, Inception Network) 目录 0. 前言 1. LeNet-5 2. AlexNet 3. VGG-16 4. ResNet 残差网络 5. Inception Network 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十)卷积神经网络 CNN 之卷积层 花书+吴恩达深度学习(十一)卷积神经网络 CNN 之池化层 花书+吴恩达深度学习(十二)卷积... 阅读详情

相关推荐

花书+吴恩达深度学习(十)卷积神经网络 CNN 之卷积层

目录 0. 前言 1. 2D 图像卷积 2. 3D 图像卷积 3. 过滤器(核函数) 4. 过滤器应用于边缘检测 5. padding 填充 6. stride 步长 7. 使用卷积的动机 8. 1乘1卷积 9. 基本卷积函数的变体 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十)卷积神经网络 CNN 之卷积层 花书+...

今天你学习了吗 2244

深度学习教程(1) | 深度学习概论(吴恩达·完整版)

本篇为深度学习系列教程的引言,以房价预测为例,讲解神经网络(Neural Network)模型结构和基础知识,并介绍针对监督学习的几类典型神经网络:Standard NN,CNN和RNN等知识

ShowMeAI研究中心 1万+

花书+吴恩达深度学习(十二)卷积神经网络 CNN 之全连接层

目录 0. 前言 1. 全连接层(fully connected layer) 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十)卷积神经网络 CNN 之卷积层 花书+吴恩达深度学习(十一)卷积神经网络 CNN 之池化层 花书+吴恩达深度学习(十二)卷积神经网络 CNN 之全连接层 花书+吴恩达深度学习(十三)卷积神经网络 CNN ...

今天你学习了吗 1929

Coursera吴恩达《深度学习》课程总结(全)

01 神经网络和深度学习(Neural Networks and Deep Learning) 1-1 深度学习概论 主要介绍:主要对深度学习进行了简要概述。首先,我们使用房价预测的例子来建立最简单的单个神经元组成的神经网络模型。然后,我们将例子复杂化,建立标准的神经网络模型结构。接着,我们从监督式学习入手,介绍了不同的神经网络类型,包括Standard NN,CNN和RNN。不同的神经网络模型适合处理不同类型的问题。对数据集本身来说,分为结构化数据和非结构化数据。近些年来,深度学习对非结构化数据的处理

csdn_xmj的博客 5万+

吴恩达Coursera深度学习课程 deeplearning.ai 目录

第一部分 深度学习概论 (1-1) 深度学习概论–课程笔记 (1-1) 深度学习概论–编程作业 (1-2) 神经网络基础–课程笔记 (1-2) 神经网络基础–编程作业 (1-3) 浅层神经网络–课程笔记 (1-3) 浅层神经网络–编程作业 (1-4) 深层神经网络–课程笔记 (1-4) 深层神经网络–编程作业 第二部分 深度学习及其优化 (2-1) 深度学习实践–课程笔记 ...

浩宇天罡 2820

花书+吴恩达深度学习(十一)卷积神经网络 CNN 之池化层

目录 0. 前言 1. 最大池化(max pooling) 2. 平移不变形 3. 其他池化函数 4. 卷积和池化作为一种无限强的先验 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十)卷积神经网络 CNN 之卷积层 花书+吴恩达深度学习(十一)卷积神经网络 CNN 之池化层 花书+吴恩达深度学习(十二)卷积神经网络 CNN 之...

今天你学习了吗 1942

深度学习教程 | 吴恩达专项课程 · 全套笔记解读

本篇内容是组织的「深度学习原理知识大全」系列教程入口,教程依托吴恩达老师《深度学习专项课程》,对内容做了重新梳理与制作,以更全面和直观的图文方式,对深度学习涉及的知识、模型、原理、应用领域等进行详解......

ShowMeAI研究中心 1万+

中兴交换机配置SSH登录

SSH是在传统的Telnet协议基础上发展起来的一种安全的远程登录协议。发送和接收数据时, SSH会自动对数据进行加密及解密。相比于Telnet,SSH能防止“中间人”攻击、DNS欺骗、IP 欺骗等,无论是在认证方式或者数据传输的安全性上都有很大的提高。SSH用户认证方式有3种,分别为本地(Local)认证、RADIUS认证和TACACS+认证。以表规划数据为例,说明配置SSH登录的步骤。

才怪的博客 7935

吴恩达老师深度学习课程完整笔记

为了方便学习深度学习课程,转载一个吴恩达老师的一个深度学习笔记,转载的网站是下面这个 https://blog.youkuaiyun.com/red_stone1/article/details/80207815 从去年8月份开始,AI界大IP吴恩达在coursera上开设了由5们课组成的深度学习专项课程,掀起了一股人工智能深度学习热潮。这里附上deeplearning.ai的官网: deeplearnin...

Miracle8070 6万+

Altera Quartus II FPGA固件烧录全攻略:从SOF到JIC的完整流程(附EPCQ128配置技巧)

本文详细介绍了使用Altera Quartus II工具链将FPGA固件从SOF文件转换为JIC文件并烧录到EPCQ128 Flash芯片的完整流程。内容涵盖环境配置、文件转换步骤、EPCQ128专用配置技巧以及常见问题解决方案,帮助工程师实现FPGA固件的flash固化,确保设计可靠运行。

weixin_30275415的博客 208

SOLIDWORKS Flow Simulation 颗粒分离器仿真:从流场分析到分离效率优化

计算流体力学(CFD)是研究流体流动、传热及相关物理现象的核心工具,其基本原理是通过数值方法求解控制流体运动的纳维-斯托克斯方程。在工程实践中,CFD的价值在于能够对复杂流动进行高保真度仿真,从而在产品设计阶段预测性能、优化结构,显著降低物理样机的试制成本和周期。颗粒分离器作为环保、化工、矿业等领域的关键设备,其设计核心在于平衡分离效率与压力损失。借助SOLIDWORKS内嵌的Flow Simulation模块,工程师可以高效地执行流体仿真,特别是对涉及离散相的颗粒运动进行轨迹追踪和效率统计。该技术方案通过

weixin_28709649的博客 327

手把手教你搭建卷积神经网络(CNN)

本文是基于吴恩达老师的《深度学习》第四课第一周习题所做,如果本文在某些知识点上描述得不够透彻的可以参见相关章节的具体讲解,同时极力推荐各位有志从事计算机视觉的朋友观看一下吴恩达老师的《深度学习》课程。 1.卷积神经网络构成 总的来说,卷积神经网络与神经网络的区别是增加了若干个卷积层,而卷积层又可细分为卷积(CONV)和池化(POOL)两部分操作(这两个重要概念稍后会简单的介绍,如果对CNN的基...

u013093426的博客 8万+

Ubuntu 20.04下IgH EtherCAT主站部署实战

本文详细介绍了在Ubuntu 20.04系统上部署IgH EtherCAT主站的完整流程,包括环境准备、源码编译、内核模块配置、网络接口设置及实时性优化等关键步骤。通过实战案例和常见问题排查,帮助开发者快速掌握EtherCAT主站部署技巧,提升工业自动化系统的稳定性和实时性。

weixin_30596343的博客 1071

吴恩达 深度学习 编程作业(4-1)- Convolutional Neural Networks & CNN Application

Part 1:Convolutional Neural Networks: Step by Step Part 2:Convolutional Neural Networks: Application

大树先生的博客 2万+

小梅哥Xilinx ZYNQ学习笔记2——38译码器

译码器(Decoder)是一种多输入多输出的组合逻辑电路,负责将二进制代码翻译为特定的对象(如逻辑电平等),功能与编码器相反。译码器一般分为通用译码器和数字显示译码器两大类。本设计的是通用译码器。三八译码器,即是 3 种输入状态翻译成 8 种输出状态。1.case开始开始,endcase结束;2.数字声明时,合法的基数格式有 4 中,包括:十进制('d 或 'D),十六进制('h 或 'H),二进制('b 或 'B),八进制('o 或 'O)。数值可指明位宽,也可不指明位宽。

m0_51430584的博客 1636

升级最新IDEA版本(2022.1.1)

升级最新IDEA版本(2022.1.1)

软件老王 3万+

吴恩达《深度学习》笔记汇总

第一门课:神经网络和深度学习(第一周)——深度学习引言 第一门课:神经网络和深度学习(第二周)——神经网络的编程基础 第一门课:神经网络和深度学习(第三周)——浅层神经网络 第一门课:神经网络和深度学习(第四周)——深层神经网络 第二门课:改善深层神经网络:超参数调试、正则化以及优化(第一周)——深度学习的实用层面 第二门课:改善深层神经网络:超参数调试、正则化以及优化(第二周)——优化算法 第二门课:改善深层神经网络:超参数调试、正则化以及优化(第三周)——超参数调试、Batch正则化和程序框架 ....

Taurus 1万+

李宏毅2025《机器学习》第一讲-生成式AI:技术突破和未来发展

本文基于台湾大学李宏毅教授的“一堂课搞懂生成式人工智慧的技术突破与未来发展”课程内容,系统性地梳理了生成式AI的核心概念、技术原理、发展演进以及未来趋势。文章从AI的“行为”入手,通过生动的实例展示了其强大的生成与推理能力;进而深入剖析其底层运作机制,阐释了“万物皆为令牌(Token)”、自回归生成、Transformer架构等核心原理;接着,文章追溯了通用AI模型从“专才”到“通才”的演进历程;最后,探讨了如何通过微调(Fine-tuning)、模型编辑(Model Editing)等技术赋予AI新的能力

木鱼时刻的专栏 2296

吴恩达深度学习笔记 最全最详细!这一篇足够了!

为了方便学习深度学习课程,转载一个吴恩达老师的一个深度学习笔记,转载的网站是下面这个 https://blog.youkuaiyun.com/red_stone1/article/details/80207815 从去年8月份开始,AI界大IP吴恩达在coursera上开设了由5们课组成的深度学习专项课程,掀起了一股人工智能深度学习热潮。这里附上deeplearning.ai的官网: deeplearning.ai 关于该深度学习专项课程,本人非常推荐!它对于理解各种算法背后的原理非常有帮助,同时提供了大

是木子啦~ 1万+

对halcon形状匹配算法的一点分析

基于Intel VTune Profiler对halcon形状匹配算法的一点分析

manuoo的专栏 570

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

深度学习之卷积神经网络0基础入门学习教程——浅层深度学习(全网最详细,不详细你打我)(看不懂你打我)(对小白没用你打我)

教小白如何快速入门深度学习,快速跑通代码写论文!

爱吃橘子的小翟 4044

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

深度学习教程(11) | 经典CNN网络实例详解(吴恩达·完整版)

本节展开介绍典型的CNN结构(LeNet-5、AlexNet、VGG),以及 ResNet(Residual Network,残差网络),Inception Neural Network,1x1卷积,迁移学习,数据扩增和手工工程与计算机现状等知识点

ShowMeAI研究中心 1万+

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

深度学习教程 | 卷积神经网络解读

f[l]f^{[l]}f[l]:滤波器的高(或宽)p[l]p^{[l]}p[l]:填充长度s[l]s^{[l]}s[l]:步长nc[l]n^{[l]}_cnc[l]:滤波器组的数量输入维度:nH[l−1]×nW[l−1]×nc[l−1]n^{[l-1]}_H \times n^{[l-1]}_W \times n^{[l-1]}_cnH[l−1]×nW[l−1]×nc[l−1]其中nH[l−1]n{[l-1]}_HnH[l−1]表示输入图片的高,nW[l−1]n。

weixin_42907150的博客 982

深度学习教程 | 经典CNN网络实例详解

本系列为吴恩达老师《深度学习专项课程(Deep Learning Specialization)》学习与总结整理所得,对应的课程视频可以在这里查看。在ShowMeAI前一篇文章 卷积神经网络解读 中我们对以下内容进行了介绍:本篇内容ShowMeAI展开介绍和总结几个有名的典型CNN案例。这些CNN是最典型和有效的结构,吴恩达老师希望通过对具体CNN模型案例的分析讲解,帮助我们理解CNN并训练实际的模型。本篇涉及到的经典CNN模型包括:手写字体识别模型LeNet5由Yann LeCun教授于90年代提出来,是

weixin_42907150的博客 1762
上一篇: 深度学习教程(9) | AI应用实践策略(下)(吴恩达·完整版)
下一篇: 深度学习教程 | 吴恩达专项课程 · 全套笔记解读
ShowMeAI
博客等级 码龄5年 6514粉丝 672原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShowMeAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值