深度学习教程(3) | 浅层神经网络(吴恩达·完整版)

吴恩达机器学习--神经网络 吴恩达2022机器学习--神经网络部分 阅读详情


第1门课 神经网络和深度学习,第3周:浅层神经网络

本系列为吴恩达老师《深度学习专项课程(Deep Learning Specialization)》学习与总结整理所得,对应的课程视频可以在这里查看。

引言

在ShowMeAI前一篇文章 神经网络基础 中我们对以下内容进行了介绍:

  • 二分类问题、逻辑回归模型及损失函数。
  • 梯度下降算法。
  • 计算图与正向传播及反向传播。
  • 向量化方式并行计算与提效。

本篇内容我们将从浅层神经网络入手,逐步拓展到真正的神经网络模型知识学习。

1.神经网络表示

神经网络的表示 Neural Network Representation

图示为两层神经网络,也可以称作单隐层神经网络(a single hidden layer neural network)。这就是典型的浅层(shallow)神经网络,结构上,从左到右,可以分成三层:

  • 输入层(input layer):竖向堆叠起来的输入特征向量。
  • 隐藏层(hidden layer):抽象的非线性的中间层。
  • 输出层(output layer):输出预测值。

注意:当我们计算网络的层数时,通常不考虑输入层。因此图中隐藏层是第一层,输出层是第二层。

神经网络表示

有一些约定俗成的符号表示,如下:

  • 输入层的激活值为 a [ 0 ] a^{[0]} a[0],隐藏层产生的激活值,记作 a [ 1 ] a^{[1]} a[1]。
  • 隐藏层的第一个单元(或者说节点)就记作 a 1 [ 1 ] a^{[1]}_1 a1[1]​,输出层同理。
  • 隐藏层和输出层都是带有参数 W W W和 b b b的,它们都使用上标[1]来表示是和第一个隐藏层有关,或者上标[2]来表示是和输出层有关。

2.计算神经网络的输出

2.1 两层神经网络

计算一个神经网络的输出 Computing a Neural Network's Output

接下来我们开始详细推导神经网络的计算过程。

我们依旧来看看我们熟悉的逻辑回归,我们用其构建两层神经网络。逻辑回归的前向传播计算可以分解成计算 z z z和 a a a的两部分。

如果我们基于逻辑回归构建两层神经网络,前向计算从前往后要做2次计算:

  • 从输入层到隐藏层,对应一次逻辑回归运算。
  • 从隐藏层到输出层,对应一次逻辑回归运算。

神经网络前向计算

在每层计算中,我们注意对应的上标和下标:

  • 我们记上标方括号 [ ] ^{[ ]} []表示layer,记下标表示第几个神经元。例如, a i [ l ] a_i^{[l]} ai[l]​表示第 l l l层的第 i i i个神经元。
  • 注意, i i i从 1 1 1开始, l l l从 0 0 0开始。

2.2 单个样本计算方式

我们将输入层到隐藏层的计算公式列出来:

神经网络前向计算

后续从隐藏层到输出层的计算公式为:

神经网络前向计算

上述每个节点的计算都对应着一次逻辑运算的过程,分别由计算 z z z和 a a a两部分组成。

2.3 向量化计算

多样本向量化 Vectorizing across Multiple Examples

我们引入向量化思想提升计算效率,将上述表达式转换成矩阵运算的形式,如下所示:

神经网络前向计算

我们这里特别注意一下数据维度:

  • W [ 1 ] W^{[1]} W[1]的维度是 ( 4 , 3 ) (4,3) (4,3)
  • b [ 1 ] b^{[1]} b[1]的维度是 ( 4 , 1 ) (4,1) (4,1)
  • W [ 2 ] W^{[2]} W[2]的维度是 ( 1 , 4 ) (1,4) (1,4)
  • b [ 2 ] b^{[2]} b[2]的维度是 ( 1 , 1 ) (1,1) (1,1)

2.4 数据集向量化计算

向量化实现的解释 Justification for Vectorized Implementation

上面部分提到的是单个样本的神经网络正向传播矩阵运算过程。对于 m m m个训练样本,我们也可以使用向量化矩阵运算的形式来提升计算效率。形式上,它和单个样本的矩阵运算十分相似,比较简单。我们记输入矩阵 X X X的维度为 ( n x , m ) (n_x,m) (nx​,m),则有:

神经网络前向计算

上述公式中, Z [ 1 ] Z^{[1]} Z[1]的维度是 ( 4 , m ) (4,m) (4,m),4是隐藏层神经元的个数; A [ 1 ] A^{[1]} A[1]的维度与 Z [ 1 ] Z^{[1]} Z[1]相同; Z [ 2 ] Z^{[2]} Z[2]和 A [ 2 ] A^{[2]} A[2]的维度均为 ( 1 , m ) (1,m) (1,m)。

我们可以这样理解上述的矩阵:行表示神经元个数,列表示样本数目 m m m。

3.激活函数

激活函数 Activation Functions

3.1 不同的激活函数与选择

在神经网络中,隐藏层和输出层都需要激活函数(activation function),前面的例子中我们都默认使用Sigmoid函数 σ ( z ) \sigma(z) σ(z)作为激活函数。实际我们有不同的激活函数可以选择,而且它们有各自的优点:

激活函数

(1) tanh 函数

the hyperbolic tangent function,双曲正切函数

a = e z − e − z e z + e − z a = \frac{e^z - e^{-z}}{e^z + e^{-z}} a=ez+e−zez−e−z​

优点:函数输出介于 ( − 1 , 1 ) (-1,1) (−1,1),激活函数的平均值就更接近0,有类似数据中心化的效果。效果几乎总比Sigmoid函数好(二元分类的输出层我们还是会用Sigmoid,因为我们希望输出的结果介于 ( 0 , 1 ) (0,1) (0,1))。

缺点:当 z z z趋紧无穷大(或无穷小),导数的梯度(即函数的斜率)就趋紧于0,这使得梯度算法的速度大大减缓。这一点和Sigmoid一样。

(2) ReLU函数

the rectified linear unit,修正线性单元

a = m a x ( 0 , z ) a=max(0,z) a=max(0,z)

优点:当 z > 0 z > 0 z>0时,梯度始终为1,从而提高神经网络基于梯度算法的运算速度,收敛速度远大于Sigmoid和tanh。

缺点:当 z < 0 z < 0 z<0时,梯度一直为0,但是实际的运用中,该缺陷的影响不是很大。

(3) Leaky ReLU

带泄漏的ReLU

a = m a x ( 0.01 z , z ) a=max(0.01z,z) a=max(0.01z,z)

优点:Leaky ReLU保证在 z < 0 z < 0 z<0的时候,梯度仍然不为0。

理论上来说,Leaky ReLU有ReLU的所有优点,但在实际操作中没有证明总是好于ReLU,因此不常用。

总结

在选择激活函数的时候,如果在不知道该选什么的时候就选择ReLU。当然也没有固定答案,要依据实际问题在交叉验证集合中进行验证分析。注意,我们可以在不同层选用不同的激活函数。

3.2 使用非线性激活函数的原因

为什么需要非线性激活函数? Why Need a Nonlinear Activation Function?

使用线性激活函数和不使用激活函数、无论神经网络有多少层,输出都是输入的线性组合,与没有隐藏层效果相当,就成了最原始的感知器了。我们以2层神经网络做一个简单推导,如下:

假设所有的激活函数都是线性的,为了更简单一点,我们直接令激活函数 g ( z ) = z g(z)=z g(z)=z,即 a = z a=z a=z。那么,浅层神经网络的各层输出为:

z [ 1 ] = W [ 1 ] x + b [ 1 ] z^{[1]}=W^{[1]}x+b^{[1]} z[1]=W[1]x+b[1]

a [ 1 ] = z [ 1 ] a^{[1]}=z^{[1]} a[1]=z[1]

z [ 2 ] = W [ 2 ] a [ 1 ] + b [ 2 ] z^{[2]}=W^{[2]}a^{[1]}+b^{[2]} z[2]=W[2]a[1]+b[2]

a [ 2 ] = z [ 2 ] a^{[2]}=z^{[2]} a[2]=z[2]

我们对上述公式中 a [ 2 ] a^{[2]} a[2]展开计算,得:

a [ 2 ] = z [ 2 ] = W [ 2 ] a [ 1 ] + b [ 2 ] = W [ 2 ] ( W [ 1 ] x + b [ 1 ] ) + b [ 2 ] = ( W [ 2 ] W [ 1 ] ) x + ( W [ 2 ] b [ 1 ] + b [ 2 ] ) = W ′ x + b ′ \begin{aligned} a^{[2]}=z^{[2]} &=W^{[2]} a^{[1]}+b^{[2]} \\ &=W^{[2]}\left(W^{[1]} x+b^{[1]}\right)+b^{[2]} \\ &=\left(W^{[2]} W^{[1]}\right) x+\left(W^{[2]} b^{[1]}+b^{[2]}\right) \\ &=W^{\prime} x+b^{\prime} \end{aligned} a[2]=z[2]​=W[2]a[1]+b[2]=W[2](W[1]x+b[1])+b[2]=(W[2]W[1])x+(W[2]b[1]+b[2])=W′x+b′​

上述推导后,我们可以发现 a [ 2 ] a^{[2]} a[2]仍是输入变量 x x x的线性组合!后续堆叠更多的层次,也可以依次类推,这表明,使用神经网络,如果不使用激活函数或使用线性激活函数,与直接使用线性模型的效果并没有什么两样!因此,隐藏层的激活函数必须要是非线性的。

不过,在部分场景下,比如是回归预测问题而不是分类问题,输出值 y y y为连续值,输出层的激活函数可以使用线性函数。如果输出 y y y恒为正值,则也可以使用ReLU激活函数,这些具体情况具体分析。

3.3 激活函数的导数

激活函数的导数 Derivatives of Activation Functions

我们来看一下不同激活函数的导数,这将在我们反向传播中频繁用到。

激活函数

4.神经网络的梯度下降法

神经网络的梯度下降 Gradient Descent for Neural Networks

下面我们来一起看看,神经网络中的梯度计算。

我们依旧以浅层神经网络为例,它包含的参数为 W [ 1 ] W^{[1]} W[1], b [ 1 ] b^{[1]} b[1], W [ 2 ] W^{[2]} W[2], b [ 2 ] b^{[2]} b[2]。

神经网络的梯度下降法

令输入层的特征向量个数 n x = n [ 0 ] n_x=n^{[0]} nx​=n[0],隐藏层神经元个数为 n [ 1 ] n^{[1]} n[1],输出层神经元个数为 n [ 2 ] = 1 n^{[2]}=1 n[2]=1。则:

  • W [ 1 ] W^{[1]} W[1]的维度为 ( n [ 1 ] , n [ 0 ] ) (n^{[1]},n^{[0]}) (n[1],n[0])
  • b [ 1 ] b^{[1]} b[1]的维度为 ( n [ 1 ] , 1 ) (n^{[1]},1) (n[1],1)
  • W [ 2 ] W^{[2]} W[2]的维度为 ( n [ 2 ] , n [ 1 ] ) (n^{[2]},n^{[1]}) (n[2],n[1])
  • b [ 2 ] b^{[2]} b[2]的维度为 ( n [ 2 ] , 1 ) (n^{[2]},1) (n[2],1)

4.1 神经网络中的梯度下降

上述神经网络的前向传播过程,对应的公式如下图左侧。反向传播过程,我们会进行梯度计算,我们先列出Cost Function对各个参数的梯度,如下图右侧公式。

神经网络的梯度下降法

其中,np.sum使用到python中的numpy工具库,想了解更多的同学可以查看ShowMeAI的 图解数据分析 系列中的numpy教程,也可以通过ShowMeAI制作的numpy速查手册 快速了解其使用方法)

4.2 反向传播(拓展补充)

直观理解反向传播 Backpropagation Intuition

我们使用上篇内容 神经网络基础 中的计算图方式来推导神经网络反向传播。回忆我们前面提到的逻辑回归,推导前向传播和反向传播的计算图如下图所示:

神经网络的梯度下降法

因为多了隐藏层,神经网络的计算图要比逻辑回归的复杂一些,如下图所示。

神经网络的梯度下降法

综上,对于浅层神经网络(包含一个隐藏层)而言,「单个样本」和「m个训练样本」的反向传播过程分别对应如下的6个表达式(都是向量化矩阵形式):

神经网络的梯度下降法

5.随机初始化

随机初始化 Random + Initialization

5.1 全零初始化权重问题

我们在很多机器学习模型中,会初始化权重为0。但在神经网络模型中,参数权重 W W W是不能全部初始化为零的,它会带来对称性问题(symmetry breaking problem),下面是分析过程。

假设一个浅层神经网络包含两个输入,隐藏层包含两个神经元。

NN权重初始化

如果权重 W [ 1 ] W^{[1]} W[1]和 W [ 2 ] W^{[2]} W[2]都初始化为零,这样使得隐藏层第一个神经元的输出等于第二个神经元的输出,即 a 1 [ 1 ] = a 2 [ 1 ] a_1^{[1]}=a_2^{[1]} a1[1]​=a2[1]​。容易得到 d z 1 [ 1 ] = d z 2 [ 1 ] dz_1^{[1]}=dz_2^{[1]} dz1[1]​=dz2[1]​,以及 d W 1 [ 1 ] = d W 2 [ 1 ] dW_1^{[1]}=dW_2^{[1]} dW1[1]​=dW2[1]​。

我们发现:隐藏层两个神经元对应的权重行向量 W 1 [ 1 ] W_1^{[1]} W1[1]​和 W 2 [ 1 ] W_2^{[1]} W2[1]​每次迭代更新都会得到完全相同的结果, W 1 [ 1 ] W_1^{[1]} W1[1]​始终等于 W 2 [ 1 ] W_2^{[1]} W2[1]​,完全对称!这样隐藏层设置多个神经元就没有任何意义了。

当然,因为中间层每次只会有1个偏置项参数 b b b,它可以全部初始化为零,并不会影响神经网络训练效果。

5.2 解决方法

上述提到的权重W全部初始化为零带来的问题就是symmetry breaking problem(对称性)。解决方法也很简单:在初始化的时候, W W W参数要进行随机初始化,不可以设置为0。而 b b b因为不存在对称性的问题,可以设置为 0。

以 2 个输入,2 个隐藏神经元为例:

W = np.random.rand(2,2)* 0.01
b = np.zeros((2,1))

这里将 W W W 的值乘以 0.01(或者其他的常数值)的原因是为了使得权重 W W W 初始化为较小的值,这是因为使用 Sigmoid 函数或者 tanh 函数作为激活函数时:

  • 若 W W W 比较小,则 Z = W X + b Z=WX+b Z=WX+b 所得的值趋近于 0,梯度较大,能够提高算法的更新速度。
  • 若 W W W 设置的太大,得到的梯度较小,训练过程因此会变得很慢。

NN权重初始化

ReLU 和 Leaky ReLU 作为激活函数时不存在这种问题,因为在大于 0 的时候,梯度均为 1。如果输出层是Sigmoid函数,则对应的权重 W W W最好初始化到比较小的值。

参考资料

ShowMeAI系列教程推荐

推荐文章

吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(1-3)-- 浅层神经网络 神经网络和深度学习 -------- 浅层神经网络 阅读详情

相关推荐

【深度学习】吴恩达课程笔记(二)——浅层神经网络、深层神经网络

变量名变量含义l层数n[l]l 层的单元数。

urge的博客 841

吴恩达机器学习[9]-神经网络学习

吴恩达机器学习

踏归 的博客 1026

MATLAB2022b安装

图文并茂,手把手教会你怎么安装MATLAB2022b

1万+

【吴恩达机器学习笔记】七、神经网络

📣专栏定位:为学习吴恩达机器学习视频的同学提供的随堂笔记。📚专栏简介:在这个专栏,我将整理吴恩达机器学习视频的所有内容的笔记,方便大家参考学习。

Newin2020的博客 1553

RK3588与银河麒麟V10 SP1 2403深度适配:国产化硬件与操作系统的完美融合

本文深入探讨了RK3588处理器与银河麒麟V10 SP1 2403操作系统的深度适配,展示了国产化硬件与操作系统的完美融合。通过性能验证和实际应用测试,证明了这套组合在多媒体处理、AI推理和日常办公中的卓越表现,实现了完全自主可控的计算平台。

weixin_29194255的博客 251

ESP32+micro-ROS机器人开发实战:轻量级ROS2嵌入式集成

ROS2是现代机器人软件栈的核心框架,其基于DDS的分布式通信与QoS保障能力为多节点协同提供基础支撑;而micro-ROS作为专为微控制器优化的ROS2兼容中间件,解决了资源受限设备(如ESP32)接入ROS2生态的关键难题。其通过分层架构将DDS通信下沉至上位机Agent,使MCU仅需运行轻量Client,大幅降低内存开销(实测<180KB)并保留标准ROS2接口语义。该方案广泛应用于教育机器人、移动底盘、传感器节点等嵌入式场景,尤其适合基于ESP-IDF开发的Wi-Fi/BLE物联网机器人系统。本文以

weixin_29025501的博客 402

吴恩达《机器学习》——神经网络与反向传播

实现神经网络的反向传播求导,并用梯度来优化神经网络,实现对手写数字的多分类任务。在最后对隐藏层进行可视化。

Ace2NoU的博客 1722

移花接木,玩转CANoe的几种扩展接口应用(五)——串口设备

近期看到粉丝朋友在CANoe自动化测试方面的关注度很大,今天就围绕这个做一个专题,总结一下以往项目上用过的几种CANoe扩展接口,分享出来希望对相关领域的网友有所帮助。本文是该专题的第五篇文章,主要讲解了串口设备的功能配置、连接方法、配置方法、调用方法,最后分析了这种扩展借口应用的特点和适用场景。

Mr.Cssust的博客 2371

(吴恩达机器学习)4.神经网络

layer_1 = Dense(units = 3, activation = 'sigmoid')表示第一层的定义,units = 3说明有三个神经元,activation = 'sigmoid'表示激活的输出使用的是逻辑回归的sigmoid函数计算。输入的数据在逻辑回归单元的计算下,得到的概率,每个神经元都可以对输入的数据进行处理,从而得到了一个数据向量,就是该层输出的激活。输入到layer中的数据是输入数据,从隐藏层输出的数据叫激活,从output layer输出的数据是最终获得的输出数据。

qq_45930344的博客 1014

ARM功耗管理软件之DVFS&AVS

思考:功耗管理软件栈及示例?WFI&WFE?时钟&电源树?DVFS&AVS?

AI-安全-功耗 1234

Flink上传的Jar包去了哪里?大数据

在使用Flink时,我们通常会将应用程序打包成Jar文件并将其上传到Flink集群以执行。总结起来,Flink上传的Jar包实际上会暂时存储在JobManager的本地文件系统中的一个临时目录中。在上传过程中,Flink会将Jar文件存储在JobManager的本地文件系统中的一个临时目录中。一般来说,Flink会在。希望本文对你解答了Flink上传的Jar包去了哪里的疑问,并且能够帮助你更好地理解Flink的工作原理。接下来,我们可以使用Flink命令行工具将Jar文件提交到Flink集群。

AlianBlank的博客 866

吴恩达深度学习系列课程笔记:卷积神经网络(一)

本系列文章将对吴恩达在网易公开课“深度学习工程师”微专业内容进行笔记总结,这一部分介绍的是“卷积神经网络”部分。 1、计算机视觉 计算机视觉在我们还是生活中有非常广泛的应用,以下几个是最常见的例子: 图像分类: 可以对图像中的物体种类进行判断,如确定图像中的物体是否是猫 风格迁移 将一幅画的风格迁移到另一张图片中,使之以之前那副图的形式来表现这一幅图像的内容。 目标检测 将一幅画的...

Yolo的博客 4932

Orange3实战教程:文本挖掘---主题建模

主题建模通过LDA、LSI或HDP算法分析文档集合,自动发现隐含主题结构。组件输入为文档语料库,输出包括带主题权重的语料库、主题词分布及完整主题数据。不同算法特性各异:LSI允许正负权重但解释性较弱,LDA更易解释,HDP参数复杂需谨慎设置。结果可结合词云、热力图等可视化工具分析主题特征及分布。示例显示如何通过预处理文本、选择算法(如提取5个LDA主题),并利用MDS和箱线图探索主题间关系及关键词分布。

err2008的专栏 367

Coursera吴恩达《深度学习》课程总结(全)

01 神经网络和深度学习(Neural Networks and Deep Learning) 1-1 深度学习概论 主要介绍:主要对深度学习进行了简要概述。首先,我们使用房价预测的例子来建立最简单的单个神经元组成的神经网络模型。然后,我们将例子复杂化,建立标准的神经网络模型结构。接着,我们从监督式学习入手,介绍了不同的神经网络类型,包括Standard NN,CNN和RNN。不同的神经网络模型适合处理不同类型的问题。对数据集本身来说,分为结构化数据和非结构化数据。近些年来,深度学习对非结构化数据的处理

csdn_xmj的博客 5万+

【银河麒麟桌面系统】安装英伟达(NVIDIA)显卡驱动

本文详细介绍了在麒麟桌面操作系统V10 SP1(版本号2503)上安装NVIDIA RTX 5060显卡驱动的完整流程。主要内容包括:查看系统版本信息,从NVIDIA官网下载Linux 64位驱动,授予执行权限后运行安装程序,处理安装过程中的X server警告、32位库安装、DKMS模块选择等问题,以及安装完成后如何验证驱动状态。同时提供了卸载驱动的步骤和常见问题解决方案,如处理X server警告、libglvnd EGL依赖问题等。该指南适用于需要在国产麒麟系统上安装NVIDIA显卡驱动的用户,包含完

信创运维工程师 · 银河麒麟 & 容器实战 | 金融生产环境迁移·等保加固 | 142篇原创·17万+阅读 6314

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

吴恩达老师深度学习课程完整笔记

为了方便学习深度学习课程,转载一个吴恩达老师的一个深度学习笔记,转载的网站是下面这个 https://blog.youkuaiyun.com/red_stone1/article/details/80207815 从去年8月份开始,AI界大IP吴恩达在coursera上开设了由5们课组成的深度学习专项课程,掀起了一股人工智能深度学习热潮。这里附上deeplearning.ai的官网: deeplearnin...

Miracle8070 6万+

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

深度学习教程(1) | 深度学习概论(吴恩达·完整版)

本篇为深度学习系列教程的引言,以房价预测为例,讲解神经网络(Neural Network)模型结构和基础知识,并介绍针对监督学习的几类典型神经网络:Standard NN,CNN和RNN等知识

ShowMeAI研究中心 1万+

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

深度学习之卷积神经网络0基础入门学习教程——浅层深度学习(全网最详细,不详细你打我)(看不懂你打我)(对小白没用你打我)

教小白如何快速入门深度学习,快速跑通代码写论文!

爱吃橘子的小翟 4044

1-3 Coursera吴恩达《神经网络与深度学习》第三周课程笔记-浅层神经网络

记录吴恩达深度学习专项课程笔记,方便之后回顾,共5门课,这是第一门课《神经网络与深度学习》第三周浅层神经网络的课程笔记,那我们开始吧。 课程1-2神经网络基础的内容比较简单,主要介绍了神经网络的基础——逻辑回归和向量化,同时介绍了一些python相关编程技巧。 目录 《3.1神经网络概览》Neural Networks Overview 《3.2神经网络表示》Neural Network Representation 《3.3计算神经网络的输出》Computing a Neural Network

csdn_xmj的博客 9190

【中英】【吴恩达课后测验】Course 1 - 神经网络和深度学习 - 第三周测验

【中英】【吴恩达课后测验】Course 1 - 神经网络和深度学习 - 第三周测验 上一篇:【 课程1 - 第二周编程作业】※※※※※ 【回到目录】※※※※※下一篇:【课程1 - 第三周编程作业】 第3周测验 - 浅层神经网络 以下哪一项是正确的? 【★】X是一个矩阵,其中每个列都是一个训练示例。 【★】a[2]4a4[2]a^{[2]}_4 是第二层第四层神经元的激活的输出...

何宽的博客 5万+

深度学习教程 | 浅层神经网络

在选择激活函数的时候,如果在不知道该选什么的时候就选择ReLU。当然也没有固定答案,要依据实际问题在交叉验证集合中进行验证分析。注意,我们可以在不同层选用不同的激活函数。

weixin_42907150的博客 1527

【ML/DL】浅层神经网络模型python实现

浅层神经网络模型python实现 文章目录浅层神经网络模型python实现1.准备工作导入需要的包testCases.pyplanar_utils.py导入数据集可视化数据集2. 采用逻辑回归模型分类(可选)3. 采用神经网络模型获取每层size初始化参数前向传播计算函数代价反向传播合成模型预测函数测试模型计算正确率尝试不同layer size(可选)尝试其他数据集 1.准备工作 导入需要的包 #...

xiangxiang613的专栏 1714

吴恩达深度学习——浅层神经网络

文章目录引言神经网络概览神经网络表示计算神经网路的输出 引言 本文是吴恩达深度学习第一课:神经网络与深度学习的笔记。神经网络与深度学习主要讨论了如何建立神经网络(包括一个深度神经网络)、以及如何训练这个网络。 第一课有以下四个部分,本文是第三部分。 深度学习概论 神经网络基础 浅层神经网络 深层神经网络 神经网络概览 本文将我们学习到如何实现神经网络。 在上篇文章中,我们已经知道了逻辑回归模型和计算图之间的关系。 这就是神经网络,这个神经网络结构中的每个神经元(图中的圈圈),包含了逻辑回归中计算zz

日积月累,天道酬勤 2063

深度学习教程 | 吴恩达专项课程 · 全套笔记解读

本篇内容是组织的「深度学习原理知识大全」系列教程入口,教程依托吴恩达老师《深度学习专项课程》,对内容做了重新梳理与制作,以更全面和直观的图文方式,对深度学习涉及的知识、模型、原理、应用领域等进行详解......

ShowMeAI研究中心 1万+

吴恩达深度学习 浅层深层神经网络

笔记 浅层/深层神经网络 神经网络的输入层(the input layer):接收输入信号(值)并将其传递至下一层,但不对输入信号(值)执行任何运算,没有自己的权重值和偏置值。 神经网络的隐藏层(a hidden layer):在训练集中,这些中间节点的真正数值是无法看到的。 输出层(the output layer):接收来自最后一个隐藏层的输入,输出预测值。 如图是一个双层神经网络,由于计算...

萌新瑟瑟发抖 1000

吴恩达深度学习笔记:浅层神经网络(Shallow neural networks)3.1-3.5

本周你将学习如何实现一个神经网络。在我们深入学习具体技术之前,我希望快速的带你预览一下本周你将会学到的东西。如果这个视频中的某些细节你没有看懂你也不用担心,我们将在后面的几个视频中深入讨论技术细节。现在我们开始快速浏览一下如何实现神经网络。上周我们讨论了逻辑回归,我们了解了这个模型(见图 3.1.1)如何与下面公式 3.1 建立联系。接下来使用𝑧就可以计算出𝑎。我们将的符号换为表示输出𝑦^ ⟹ 𝑎 = 𝜎(𝑧),然后可以计算出 loss function 𝐿(𝑎, 𝑦)。

weixin_43597208的博客 1777
上一篇: 深度学习教程(2) | 神经网络基础(吴恩达·完整版)
下一篇: 深度学习教程(4) | 深层神经网络(吴恩达·完整版)
ShowMeAI
博客等级 码龄5年 6514粉丝 672原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShowMeAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值