深度学习教程(4) | 深层神经网络(吴恩达·完整版)

吴恩达机器学习--神经网络 吴恩达2022机器学习--神经网络部分 阅读详情


第1门课 神经网络和深度学习,第4周:深层神经网络

本系列为吴恩达老师《深度学习专项课程(Deep Learning Specialization)》学习与总结整理所得,对应的课程视频可以在这里查看。

引言

在ShowMeAI前一篇文章 浅层神经网络 中我们对以下内容进行了介绍:

  • 神经网络的基本结构(输入层,隐藏层和输出层)。
  • 浅层神经网络前向传播和反向传播过程。
  • 神经网络参数的梯度下降优化。
  • 不同的激活函数的优缺点及非线性的原因。
  • 神经网络参数随机初始化方式

本篇内容我们将讨论深层神经网络。

1.深层神经网络

深层神经网络 Deep Layer Neural Network

我们在前面提到了浅层神经网络,深层神经网络其实就是包含更多隐层的神经网络。下图分别列举了不同深度的神经网络模型结构:

深层神经网络

我们会参考「隐层个数」和「输出层」对齐命名。如上图逻辑回归可以叫做1 layer NN,单隐层神经网络可以叫做2 layer NN,2个隐层的神经网络叫做3 layer NN,以此类推。所以当我们提到L layer NN,指的是包含 L − 1 L-1 L−1个隐层的神经网络。

下面我们来了解一下神经网络的一些标记写法。以如下图的4层神经网络为例:

深层神经网络

① 总层数用 L L L表示, L = 4 L=4 L=4

  • 输入层是第 0 0 0层,输出层是第 L L L层

② n [ l ] n^{[l]} n[l]表示第 l l l层包含的单元个数, l = 0 , 1 , ⋯   , L l=0,1,\cdots,L l=0,1,⋯,L

  • 下图模型中, n [ 0 ] = n x = 3 n^{[0]}=n_x=3 n[0]=nx​=3,表示三个输入特征 x 1 x_1 x1​、 x 2 x_2 x2​、 x 3 x_3 x3​

  • 下图模型中 n [ 1 ] = 5 n^{[1]}=5 n[1]=5, n [ 2 ] = 5 n^{[2]}=5 n[2]=5, n [ 3 ] = 3 n^{[3]}=3 n[3]=3, n [ 4 ] = n [ L ] = 1 n^{[4]}=n^{[L]}=1 n[4]=n[L]=1

③ 第 l l l层的激活函数输出用 a [ l ] a^{[l]} a[l]表示, a [ l ] = g [ l ] ( z [ l ] ) a^{[l]}=g^{[l]}(z^{[l]}) a[l]=g[l](z[l])

④ W [ l ] W^{[l]} W[l]表示第 l l l层的权重,用于计算 z [ l ] z^{[l]} z[l]

⑤ 输入 x x x记为 a [ 0 ] a^{[0]} a[0]

⑥ 输出层 y ^ \hat y y^​记为 a [ L ] a^{[L]} a[L]

注意, a [ l ] a^{[l]} a[l]和 W [ l ] W^{[l]} W[l]中的上标 l l l都是从1开始的, l = 1 , ⋯   , L l=1,\cdots,L l=1,⋯,L。

2.深层神经网络前向运算

深层网络中的前向和反向传播 Forward Propagation in a Deep Network

下面我们来推导一下深层神经网络的前向传播计算过程。依旧是上面提到的4层神经网络,我们以其为例来做讲解。

2.1 单个样本的计算

对于单个样本,我们有:

深层神经网络前向运算

2.2 m个样本的批量计算

对于 m m m个训练样本的情况,我们以向量化矩阵形式来并行计算:

深层神经网络前向运算

以此类推,对于第 l l l层,其前向传播过程的 Z [ l ] Z^{[l]} Z[l]和 A [ l ] A^{[l]} A[l]可以表示为:

Z [ l ] = W [ l ] A [ l − 1 ] + b [ l ] Z^{[l]}=W^{[l]}A^{[l-1]}+b^{[l]} Z[l]=W[l]A[l−1]+b[l]

A [ l ] = g [ l ] ( Z [ l ] ) A^{[l]}=g^{[l]}(Z^{[l]}) A[l]=g[l](Z[l])

其中 l = 1 , ⋯   , L l=1,\cdots,L l=1,⋯,L

3.向量化形态下的矩阵维度

核对矩阵的维数 Getting Your Matrix Dimensions Right

在单个训练样本的场景下,输入 x x x的维度是 ( n [ 0 ] , 1 ) (n^{[0]},1) (n[0],1)神经网络的参数 W [ l ] W^{[l]} W[l]和 b [ l ] b^{[l]} b[l]的维度分别是:

  • W [ l ] : ( n [ l ] , n [ l − 1 ] ) W^{[l]}: (n^{[l]},n^{[l-1]}) W[l]:(n[l],n[l−1])

  • b [ l ] : ( n [ l ] , 1 ) b^{[l]}: (n^{[l]},1) b[l]:(n[l],1)

其中,

  • l = 1 , ⋯   , L l=1,\cdots,L l=1,⋯,L
  • n [ l ] n^{[l]} n[l]和 n [ l − 1 ] n^{[l-1]} n[l−1]分别表示第 l l l层和 l − 1 l-1 l−1层的所含单元个数
  • n [ 0 ] = n x n^{[0]}=n_x n[0]=nx​,表示输入层特征数目

对应的反向传播过程中的 d W [ l ] dW^{[l]} dW[l]和 d b [ l ] db^{[l]} db[l]的维度分别是:

  • d W [ l ] :   ( n [ l ] , n [ l − 1 ] ) dW^{[l]}:\ (n^{[l]},n^{[l-1]}) dW[l]: (n[l],n[l−1])

  • d b [ l ] :   ( n [ l ] , 1 ) db^{[l]}:\ (n^{[l]},1) db[l]: (n[l],1)

  • 注意到, W [ l ] W^{[l]} W[l]与 d W [ l ] dW^{[l]} dW[l]维度相同, b [ l ] b^{[l]} b[l]与 d b [ l ] db^{[l]} db[l]维度相同。这很容易理解。

正向传播过程中的 z [ l ] z^{[l]} z[l]和 a [ l ] a^{[l]} a[l]的维度分别是:

  • z [ l ] :   ( n [ l ] , 1 ) z^{[l]}:\ (n^{[l]},1) z[l]: (n[l],1)

  • a [ l ] :   ( n [ l ] , 1 ) a^{[l]}:\ (n^{[l]},1) a[l]: (n[l],1)

  • z [ l ] z^{[l]} z[l]和 a [ l ] a^{[l]} a[l]的维度是一样的,且 d z [ l ] dz^{[l]} dz[l]和 d a [ l ] da^{[l]} da[l]的维度均与 z [ l ] z^{[l]} z[l]和 a [ l ] a^{[l]} a[l]的维度一致。

深层神经网络前向运算

对于 m m m个训练样本,输入矩阵 X X X的维度是 ( n [ 0 ] , m ) (n^{[0]},m) (n[0],m)。需要注意的是 W [ l ] W^{[l]} W[l]和 b [ l ] b^{[l]} b[l]的维度与只有单个样本是一致的:

  • W [ l ] :   ( n [ l ] , n [ l − 1 ] ) W^{[l]}:\ (n^{[l]},n^{[l-1]}) W[l]: (n[l],n[l−1])

  • b [ l ] :   ( n [ l ] , 1 ) b^{[l]}:\ (n^{[l]},1) b[l]: (n[l],1)

只不过在运算 Z [ l ] = W [ l ] A [ l − 1 ] + b [ l ] Z^{[l]}=W^{[l]}A^{[l-1]}+b^{[l]} Z[l]=W[l]A[l−1]+b[l]中, b [ l ] b^{[l]} b[l]会被当成 ( n [ l ] , m ) (n^{[l]},m) (n[l],m)矩阵进行运算,这是基于python numpy的广播特性,且 b [ l ] b^{[l]} b[l]每一列向量都是一样的。 d W [ l ] dW^{[l]} dW[l]和 d b [ l ] db^{[l]} db[l]的维度分别与 W [ l ] W^{[l]} W[l]和 b [ l ] b^{[l]} b[l]的相同。

不过, Z [ l ] Z^{[l]} Z[l]和 A [ l ] A^{[l]} A[l]的维度发生了变化:

  • Z [ l ] :   ( n [ l ] , m ) Z^{[l]}:\ (n^{[l]},m) Z[l]: (n[l],m)

  • A [ l ] :   ( n [ l ] , m ) A^{[l]}:\ (n^{[l]},m) A[l]: (n[l],m)

  • d Z [ l ] dZ^{[l]} dZ[l]和 d A [ l ] dA^{[l]} dA[l]的维度分别与 Z [ l ] Z^{[l]} Z[l]和 A [ l ] A^{[l]} A[l]的相同。

4.为什么需要深度网络

为什么使用深层表示? Why Deep Representations?

当今大家看到的很多AI智能场景背后都是巨大的神经网络在支撑,强大能力很大一部分来源于神经网络足够“深”,也就是说随着网络层数增多,神经网络就更加复杂参数更多,学习能力也更强。下面是一些典型的场景例子说明。

4.1 人脸识别例子

如下图所示的人脸识别场景,训练得到的神经网络,每一层的作用有差别:

  • 第一层所做的事就是从原始图片中提取出人脸的轮廓与边缘,即边缘检测。这样每个神经元得到的是一些边缘信息。
  • 第二层所做的事情就是将前一层的边缘进行组合,组合成人脸一些局部特征,比如眼睛、鼻子、嘴巴等。
  • 后续层次逐层把这些局部特征组合起来,融合成人脸的模样。

为什么需要深度网络

可以看出,随着层数由浅到深,神经网络提取的特征也是从边缘到局部特征到整体,由简单到复杂。隐藏层越多,能够提取的特征就越丰富、越复杂,模型的准确率也可能会随之越高。(详细的人脸识别原理可以查看ShowMeAI的文章 CNN应用:人脸识别和神经风格转换 )

4.2 语音识别例子

语音识别模型也是类似的道理:

  • 浅层的神经元能够检测一些简单的音调
  • 较深的神经元能够检测出基本的音素
  • 更深的神经元就能够检测出单词信息
  • 网络足够深的话,还能对短语、句子进行检测

为什么需要深度网络

神经网络从浅到深,提取的特征从简单到复杂。特征复杂度与神经网络层数成正相关。特征越来越复杂,表达能力和功能也越强。(详细的语音识别原理知识可以查看ShowMeAI的文章 Seq2seq序列模型和注意力机制 )

4.3 深度网络其他优势

除学习能力与特征提取强度之外,深层网络还有另外一个优点,就是能够减少神经元个数,从而减少计算量。

下面有一个例子,使用电路理论,计算逻辑输出:

y = x 1 ⊕ x 2 ⊕ x 3 ⊕ ⋯ ⊕ x n y=x_1\oplus x_2\oplus x_3\oplus\cdots\oplus x_n y=x1​⊕x2​⊕x3​⊕⋯⊕xn​

  • 上面的计算表达式中, ⊕ \oplus ⊕表示「异或」操作。

对于这个逻辑运算,如果使用深度网络完成,每层将前一层的两两单元进行异或,最后到一个输出,如下图左边所示。

这样,整个深度网络的层数是 l o g 2 ( n ) log_2(n) log2​(n)(不包含输入层)。总共使用的神经元个数为:

1 + 2 + ⋯ + 2 l o g 2 ( n ) − 1 = 1 ⋅ 1 − 2 l o g 2 ( n ) 1 − 2 = 2 l o g 2 ( n ) − 1 = n − 1 1+2+\cdots+2^{log_2(n)-1}=1\cdot\frac{1-2^{log_2(n)}}{1-2}=2^{log_2(n)}-1=n-1 1+2+⋯+2log2​(n)−1=1⋅1−21−2log2​(n)​=2log2​(n)−1=n−1

可见,输入个数是 n n n,这种深层网络所需的神经元个数仅仅是 n − 1 n-1 n−1个。

为什么需要深度网络

如果不用深层网络,仅仅使用单个隐藏层,如上右图所示,由于包含了所有的逻辑位(0和1),那么需要的神经元个数 O ( 2 n ) O(2^n) O(2n)是指数级别的大小。

对于其他场景和问题也一样,处理同样的逻辑问题,深层网络所需的神经元个数比浅层网络要少很多。这也是深层神经网络的优点之一。

尽管深度学习有着非常显著的优势,吴恩达老师还是建议对实际问题进行建模时,尽量先选择层数少的神经网络模型,这也符合奥卡姆剃刀定律(Occam’s Razor)。对于比较复杂的问题,再使用较深的神经网络模型。

5.构建深度网络单元块

搭建神经网络块 Building Blocks of Deep Neural Networks

下面用流程块图来解释神经网络前向传播和反向传播过程。

构建深度网络单元块

如图所示,对于第 l l l层来说,前向传播过程中,我们有:

  • 输入:$a^{[l-1]} $
  • 输出:$a^{[l]} $
  • 参数: W [ l ] W^{[l]} W[l]、 b [ l ] b^{[l]} b[l]
  • 缓存变量:$z^{[l]} $

反向传播过程中:

  • 输入:$da^{[l]} $
  • 输出:$da^{[l-1]} 、 、 、dW^{[l]} 、 、 、db^{[l]}$
  • 参数: W [ l ] W^{[l]} W[l]、 b [ l ] b^{[l]} b[l]

上面是第 l l l层的流程块图,对于神经网络所有层,整体的流程块图前向传播过程和反向传播过程如下所示:

构建深度网络单元块

6.前向传播与反向传播

前向传播和反向传播 Forward and Backward Propagation

我们继续接着上一部分流程块图的内容,推导神经网络正向传播过程和反向传播过程的具体表达式。

6.1 前向传播过程

令层数为第 l l l层,输入是 a [ l − 1 ] a^{[l-1]} a[l−1],输出是 a [ l ] a^{[l]} a[l],缓存变量是 z [ l ] z^{[l]} z[l]。其表达式如下:

z [ l ] = W [ l ] a [ l − 1 ] + b [ l ] z^{[l]}=W^{[l]}a^{[l-1]}+b^{[l]} z[l]=W[l]a[l−1]+b[l]

a [ l ] = g [ l ] ( z [ l ] ) a^{[l]}=g^{[l]}(z^{[l]}) a[l]=g[l](z[l])

m m m个训练样本的形态下,向量化形式为:

Z [ l ] = W [ l ] A [ l − 1 ] + b [ l ] Z^{[l]}=W^{[l]}A^{[l-1]}+b^{[l]} Z[l]=W[l]A[l−1]+b[l]

A [ l ] = g [ l ] ( Z [ l ] ) A^{[l]}=g^{[l]}(Z^{[l]}) A[l]=g[l](Z[l])

6.2 反向传播过程

输入是 d a [ l ] da^{[l]} da[l],输出是 d a [ l − 1 ] da^{[l-1]} da[l−1]、 d W [ l ] dW^{[l]} dW[l]、 d b [ l ] db^{[l]} db[l]。其表达式如下:

d z [ l ] = d a [ l ] ∗ g [ l ] ′ ( z [ l ] ) dz^{[l]}=da^{[l]}\ast g^{[l]\prime}(z^{[l]}) dz[l]=da[l]∗g[l]′(z[l])

d W [ l ] = d z [ l ] ⋅ a [ l − 1 ] dW^{[l]}=dz^{[l]}\cdot a^{[l-1]} dW[l]=dz[l]⋅a[l−1]

d b [ l ] = d z [ l ] db^{[l]}=dz^{[l]} db[l]=dz[l]

d a [ l − 1 ] = W [ l ] T ⋅ d z [ l ] da^{[l-1]}=W^{[l]T}\cdot dz^{[l]} da[l−1]=W[l]T⋅dz[l]

由上述第四个表达式可得 d a [ l ] = W [ l + 1 ] T ⋅ d z [ l + 1 ] da^{[l]}=W^{[l+1]T}\cdot dz^{[l+1]} da[l]=W[l+1]T⋅dz[l+1],将 d a [ l ] da^{[l]} da[l]代入第一个表达式中可以得到:

d z [ l ] = W [ l + 1 ] T ⋅ d z [ l + 1 ] ∗ g [ l ] ′ ( z [ l ] ) dz^{[l]}=W^{[l+1]T}\cdot dz^{[l+1]}\ast g^{[l]\prime}(z^{[l]}) dz[l]=W[l+1]T⋅dz[l+1]∗g[l]′(z[l])

该式非常重要,反映了 d z [ l + 1 ] dz^{[l+1]} dz[l+1]与 d z [ l ] dz^{[l]} dz[l]的递推关系。

m m m个训练样本的形态下,向量化形式为:

d Z [ l ] = d A [ l ] ∗ g [ l ] ′ ( Z [ l ] ) d Z^{[l]}=d A^{[l]}\ast g^{[l]\prime} (Z^{[l]}) dZ[l]=dA[l]∗g[l]′(Z[l])

d W [ l ] = 1 m d Z [ l ] ⋅ A [ l − 1 ] T dW^{[l]}=\frac1mdZ^{[l]}\cdot A^{[l-1]T} dW[l]=m1​dZ[l]⋅A[l−1]T

d b [ l ] = 1 m n p . s u m ( d Z [ l ] , a x i s = 1 , k e e p d i m = T r u e ) db^{[l]}=\frac1mnp.sum(dZ^{[l]},axis=1,keepdim=True) db[l]=m1​np.sum(dZ[l],axis=1,keepdim=True)

d A [ l − 1 ] = W [ l ] T ⋅ d Z [ l ] dA^{[l-1]}=W^{[l]T}\cdot dZ^{[l]} dA[l−1]=W[l]T⋅dZ[l]

d Z [ l ] = W [ l + 1 ] T ⋅ d Z [ l + 1 ] ∗ g [ l ] ′ ( Z [ l ] ) dZ^{[l]}=W^{[l+1]T}\cdot dZ^{[l+1]}\ast g^{[l]\prime}(Z^{[l]}) dZ[l]=W[l+1]T⋅dZ[l+1]∗g[l]′(Z[l])

7.参数与超参数

参数 VS 超参数 Parameters vs Hyperparameters

神经网络中有两个大家要重点区分的概念:参数(parameters)和超参数(hyperparameters)。

  • 神经网络中的参数就是我们熟悉的 W [ l ] W^{[l]} W[l]和 b [ l ] b^{[l]} b[l]。
  • 神经网络的超参数是例如学习率 α \alpha α,训练迭代次数 N N N,神经网络层数 L L L,各层神经元个数 n [ l ] n^{[l]} n[l],激活函数 g ( z ) g(z) g(z)等。
  • 之所以叫做超参数,是因为它们需要提前敲定,而且它们会决定参数 W [ l ] W^{[l]} W[l]和 b [ l ] b^{[l]} b[l]的值。

参数与超参数

如何设置最优的超参数是一个比较困难的、需要经验知识的问题。通常的做法是选择超参数一定范围内的值,分别代入神经网络进行训练,测试cost function随着迭代次数增加的变化,根据结果选择cost function最小时对应的超参数值。这类似于机器学习中的实验验证的方法。(关于机器学习的模型评估详见 ShowMeAI文章图解机器学习 | 模型评估方法与准则)

8.神经网络vs人脑

深度学习和大脑的关联性 What Does this Have to Do with the Brain?

神经网络跟人脑机制到底有什么联系呢?究竟有多少的相似程度?

深度网络 VS 大脑

我们前面看到神经网络实际上可以分成两个部分:前向传播过程和反向传播过程。神经网络的每个神经元采用激活函数的方式,类似于感知机模型。这种模型与人脑神经元是类似的,但是一种非常简化的人脑神经元模型。

人脑神经元可分为树突、细胞体、轴突三部分。树突接收外界电刺激信号(类比神经网络中神经元输入),传递给细胞体进行处理(类比神经网络中神经元激活函数运算),最后由轴突传递给下一个神经元(类比神经网络中神经元输出)。

深度网络 VS 大脑

人脑神经元的结构和处理方式要复杂的多,神经网络模型只是非常简化的模型。

人脑如何进行学习?是否也是通过反向传播和梯度下降算法现在还不清楚,可能会更加复杂。这是值得生物学家探索的事情。

参考资料

ShowMeAI系列教程推荐

推荐文章

【深度学习】吴恩达课程笔记(二)——浅层神经网络、深层神经网络 变量名变量含义l层数n[l]l 层的单元数。 阅读详情

相关推荐

深度学习入门:吴恩达课程第4周深层神经网络编程实践

htmltable {th, td {th {pre {简介:吴恩达教授的深度学习课程强调神经网络和深层神经网络的基础,本课程的第四周特别聚焦于深层神经网络的构建和应用。学生将通过中英文结合的编程作业加深对深层网络关键概念的理解,包括反向传播、激活函数、卷积神经网络、循环神经网络、优化算法、超参数调优、模型评估和数据预处理等方面。这些作业旨在帮助学生将理论知识应用于实际问题,并提升解决复杂问题的能力。

weixin_30820933的博客 605

吴恩达深度学习Deep Learning课程笔记

在计算机中为了保存一张图片,需要保存三个矩阵,它们分别对应图片中的红、绿、蓝三种颜色通道,如果你的图片大小为64x64像素,那么你就有三个规模为64x64的矩阵,分别对应图片中红、绿、蓝三种像素的强度值。从简单的根据房子尺寸预测房价例子开始,拟合房价的过程从左抽象为右,输入房子尺寸,输出价格,这就是一个简单的神经网络,中间的圆圈就是一个独立的神经元。损失函数是在单个训练样本中定义的,它衡量的是算法在单个训练样本中表现如何,为了衡量算法在全部训练样本上的表现如何,我们需要定义一个算法的总代价函数,即对。

yxx35AN的博客 5133

别再自己造轮子了!用MONAI Model Zoo里的预训练模型,5分钟搞定医学影像AI项目

本文介绍了如何利用MONAI Model Zoo中的预训练模型快速搭建医学影像AI项目,大幅节省开发时间和计算资源。通过实战案例展示了UNet、DenseNet121等核心模型的应用技巧,帮助临床医生和研究者5分钟内启动高质量医学影像分析,特别适合小样本场景下的病灶分割和分类任务。

weixin_33704234的博客 242

吴恩达-深度学习(第二章)

(yhat),这代表对真实标签 Y 的估计,形式上讲 yhat是当给定输入特征x时,预测标签y为1的概率,换种说法就是当x是一张图片,就像我们上图看到的,你想要yhat告诉你这是一张猫图的概率,x是一个nx维的向量,约定逻辑回归的参数是 w,w也是一个nx维的向量,另外参数b是一个实数,因此给定了一个输入x以及参数w和b,那么如何产生输出yhat 呢?损失函数适用于像这样单一的优化示例,损失函数反映的是你的参数成本,所以在优化你的逻辑回归模型时,我们要试着去找参数W和B,以此来缩小J的整体成本。

qq_56483157的博客 694

北斗三号PPP-B2b信号实战指南:从接收机配置到精度验证全流程

本文提供了北斗三号PPP-B2b信号从硬件配置到数据处理的全流程实战指南。详细解析了信号特性、接收机关键参数设置,并以飞纳接收机和Mass软件为例,演示了数据解算与精度验证方法。通过覆盖中国多地区的联调测试案例,验证了PPP-B2b服务可实现分米级实时定位精度,为无网络地区高精度应用提供了可靠解决方案。

nn3456的博客 555

Benchmark系列——基本概念和分类

本文主要介绍了Benchmark的基本概念和分类情况。

Bluetangos的博客 8446

【吴恩达机器学习笔记】七、神经网络

📣专栏定位:为学习吴恩达机器学习视频的同学提供的随堂笔记。📚专栏简介:在这个专栏,我将整理吴恩达机器学习视频的所有内容的笔记,方便大家参考学习。

Newin2020的博客 1553

2024最新指南:如何用Python批量下载Sentinel-2数据(附避坑清单)

本文提供2024年最新Python批量下载Sentinel-2遥感数据的完整指南,涵盖环境配置、API准备、核心下载流程实现及实战避坑清单。通过智能查询器、断点续传下载器等实用工具,帮助用户高效获取遥感数据,避免常见网络问题和数据完整性验证失败。

silver的专栏 621

Coursera吴恩达《深度学习》课程总结(全)

当我们算神经网络的层数时,我们不算输入层,只算隐藏层和输出层。4.8这和大脑有什么关系》What does this have to do with the brain?那么,神经网络跟人脑机制到底有什么联系呢?究竟有多少的相似程度?其实关联性不大。

weixin_46587777的博客 6707

SMRATS(一) SMARTS+PPO baseline运行教程

python类方法 class Agent: @classmethod def from_function() python typing 含义 为防止弱类型python出现忘记变量类型的问题,python3.5及之后版本增加了对应的类型提示。 输入和输出类型 函数接受并返回一个字符串,注释像下面这样: def greeting(name: str) -> str: return 'Hello ' + name 常用的typing类型 int,long,float: 整型,

Freshduke的博客 1415

保姆级教程:在Windows/Mac上搞定SAM 3的权重和BPE文件下载与配置

本文提供了一份详细的SAM 3权重和BPE文件下载与配置指南,特别针对国内开发者遇到的下载缓慢和配置错误问题。通过国内镜像源快速获取文件,并详细介绍了环境检查、文件下载、路径配置及常见问题解决方案,帮助开发者高效完成SAM 3的部署与使用。

weixin_42547431的博客 555

深度学习教程(1) | 深度学习概论(吴恩达·完整版)

本篇为深度学习系列教程的引言,以房价预测为例,讲解神经网络(Neural Network)模型结构和基础知识,并介绍针对监督学习的几类典型神经网络:Standard NN,CNN和RNN等知识

ShowMeAI研究中心 1万+

磁悬浮分子泵:起源、现状与未来趋势深度解析

摘要 磁悬浮分子泵作为高真空获取的关键设备,通过磁悬浮技术实现转子无接触高速运转,大幅提升了真空系统的性能和可靠性。本文系统梳理了分子泵从机械轴承到磁悬浮的技术演变历程,分析了当前行业格局及主要厂商产品特性,包括爱德华兹、普发真空等国际巨头的技术优势。研究进一步探讨了磁悬浮分子泵在半导体制造、科研设备等领域的核心应用,通过数学模型揭示了其性能参数关系。最后,展望了未来在智能化、节能化等方面的发展趋势,为相关领域的技术创新提供参考。 关键词:磁悬浮分子泵;高真空技术;半导体制造;科研设备;技术发展

技术工作者 691

吴恩达老师深度学习课程完整笔记

为了方便学习深度学习课程,转载一个吴恩达老师的一个深度学习笔记,转载的网站是下面这个 https://blog.youkuaiyun.com/red_stone1/article/details/80207815 从去年8月份开始,AI界大IP吴恩达在coursera上开设了由5们课组成的深度学习专项课程,掀起了一股人工智能深度学习热潮。这里附上deeplearning.ai的官网: deeplearnin...

Miracle8070 6万+

【WorkBuddy专栏14】专家不是「换皮」——角色切换、训练机制与自我进化深度拆解

WorkBuddy专栏14】专家不是「换皮」——角色切换、训练机制与自我进化深度拆解

AI人人懂 595

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

吴恩达深度学习——深层神经网络

为学习吴恩达深度学习——深层神经网络而做的笔记

Naion的博客 1891

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

【深层神经网络实战代码】识别猫 吴恩达深度学习笔记

本文意在对深层神经网络图像(猫)识别流程及细节进行总结和记录,对所学内容进行总结,即吴恩达深度学习第四周课后作业内容,完整代码附在博文资源内。

weixin_51596276的博客 1301

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

吴恩达《深度学习》笔记汇总

第一门课:神经网络和深度学习(第一周)——深度学习引言 第一门课:神经网络和深度学习(第二周)——神经网络的编程基础 第一门课:神经网络和深度学习(第三周)——浅层神经网络 第一门课:神经网络和深度学习(第四周)——深层神经网络 第二门课:改善深层神经网络:超参数调试、正则化以及优化(第一周)——深度学习的实用层面 第二门课:改善深层神经网络:超参数调试、正则化以及优化(第二周)——优化算法 第二门课:改善深层神经网络:超参数调试、正则化以及优化(第三周)——超参数调试、Batch正则化和程序框架 ....

Taurus 1万+

深度学习教程 | 深层神经网络

本系列为吴恩达老师《深度学习专项课程(Deep Learning Specialization)》学习与总结整理所得,对应的课程视频可以在查看。

weixin_42907150的博客 1269

吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(1-4)-- 深层神经网络

神经网络和深度学习 ------- 深层神经网络

大树先生的博客 1万+

吴恩达深度学习笔记:深层神经网络(Deep Neural Networks)4.1-4.4

尽管对于任何给定的问题很难去提前预测到底需要多深的神经网络,所以先去尝试逻辑回归,尝试一层然后两层隐含层,然后把隐含层的数量看做是另一个可以自由选择大小的超参数,然后再保留交叉验证数据上评估,或者用你的开发集来评估。我们可以看到,第一层(即左边数过去第二层,因为输入层是第 0 层)有 5 个神经元数目,第二层 5 个,第三层 3 个。,这层是第 0 层,这层左边的隐藏层是第 1 层,由此类推。注意,神经网络的层数是这么定义的:从左到右,由 0 开始定义,比如上边右图,是等于这个神经网络所预测的输出结果。

weixin_43597208的博客 1587

1-4 Coursera吴恩达《神经网络与深度学习》第四周课程笔记-深层神经网络

记录吴恩达深度学习专项课程笔记,方便之后回顾,共5门课,这是第一门课《神经网络与深度学习》第三周深层神经网络的课程笔记,那我们开始吧。 上节课课程1-3浅层神经网络我们主要介绍了浅层神经网络。首先介绍神经网络的基本结构,包括输入层,隐藏层和输出层。然后以简单的2层神经网络为例,详细推导了其正向传播过程和反向传播过程,使用梯度下降的方法优化神经网络参数。同时,我们还介绍了不同的激活函数,比较各自优缺点,讨论了激活函数必须是非线性的原因。最后介绍了神经网络参数随机初始化的必要性,特别是权重W,不同神经元的W不

csdn_xmj的博客 7464

2020-5-11 吴恩达DL学习-神经网络和深度学习Neural Network and Deep Learning-第四周 深层神经网络

1.视频网站:mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c 2.详细笔记网站(中文):http://www.ai-start.com/dl2017/ 3.github课件+作业+答案:https://github.com/stormstone/deeplearning.ai 第四周 深层神经网络 Deep Neural Networks 理解深度学习中的关键计算,使用它们搭建并训练深层神经网络,并应用在计算机视觉中。 4.1

weixin_42555985的博客 295

吴恩达深度学习1-Week4课后作业-深层神经网络

一、Deeplearning-assignment 在本周作业的编程中,主要通过构建两层神经网络和L层神经网络对catvnoncat.h5数据集进行学习和预测,并得到对test数据集的预测准确度以及判断一张图片是否为猫。 在前面的作业中,我们通过逻辑回归模型对该数据集进行了学习和预测,准确度为70%(可以翻看之前的博客和参阅相关代码结果),今天主要构建深层神经网络对数据集进行学习。 由上...

Apple_hzc的博客 1267
上一篇: 深度学习教程(3) | 浅层神经网络(吴恩达·完整版)
下一篇: 深度学习教程(5) | 深度学习的实用层面(吴恩达·完整版)
ShowMeAI
博客等级 码龄5年 6514粉丝 672原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShowMeAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值