第二章 浅层神经网络

最新推荐文章于 2021-09-07 23:17:27 发布
原创 最新推荐文章于 2021-09-07 23:17:27 发布 · 455 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了浅层神经网络的结构和工作原理，详细阐述了正向传播过程，包括单个样本和多个样本的计算，并讨论了激活函数的选择，如sigmoid、tanh、ReLU和Leaky ReLU。此外，还详细解析了神经网络的反向传播，包括梯度下降公式和推导过程，最后提到了随机初始化参数的重要性。

目录

1 神经网络概述

2 神经网络的正向传播过程

1 单个样本的正向传播

2 m个样本的正向传播

3 激活函数

4 神经网络的反向传播过程

1 神经网络的梯度下降公式

2 反向传播的推导过程

5 随机初始化

1 神经网络概述

在上一章的学习中我们了解了逻辑回归，实际上逻辑回归就是一个最简单的神经网络模型，这里我们将学习具有隐藏层的神经网络，具体而言就是我们在输入层和输入层中增加了一个隐藏层，从计算的角度而言，就是在逻辑回归的正向和反向传播过程中增加了一次重复的运算。

上图的正向传播过程分为两层，第一层是输入层到隐藏层，用右上角的[1]表示层数：

z^{[1]}=W^{[1]}x+b^{[1]}   a^{[1]}=\sigma (z^{[1]})

第二层是隐藏层到输出层：

z^{[2]}=W^{[2]}a^{[1]}+b^{[2]}   a^{[2]}=\sigma (z^{[2]})

类似于逻辑回归，我们需要通过反向传播计算参数，其流程如下所示

2 神经网络的正向传播过程

1 单个样本的正向传播

两层神经网络可以看作两次逻辑回归过程，为了简化运算，我们可以采用向量化的矩阵运算方法，将整个正向传播过程用矩阵运算的形式表达

在使用矩阵运算时，要特别注意的是维度的问题，W^{[1]}的维度(4,3), b^{[1]}的维度是(4,1) W^{[2]}的维度是(1,4) 

最低0.47元/天 解锁文章
深度学习——第6章 浅层神经网络（NN）
A469333242的博客
12-16 1576
首先，我们来看一个简单的神经网络模型：最简单的神经网络模型由输入层（Input Layer）、隐藏层（Hidden Layer）、输出层（Output Layer）组成，我们称之为2层神经网络。隐藏层和输出层都由个数不一的神经元组成。如上图所示，输入层有3个输入：x1、x2、x3，分别代表不同的输入特征。例如一张图片所有的像素值（当然不止3个）。一般地，输入层不标注◯\bigcirc◯，表示没有神经元。该神经网络模型隐藏层包含了4个神经元，输出层只有1个神经元。
人工智能第八章答案神经网络,神经网络简答题
ynca67269的博客
08-22 1316
这种分层结构，是比较接近人类大脑的结构的。传统神经网络（这里作者主要指前向神经网络）中，采用的是backpropagation的方式进行，简单来讲就是采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前输出和label之间的差去改变前面各层的参数，直到收敛（整体是一个梯度下降法）。2006年，hinton提出了在非监督数据上建立多层神经网络的一个有效方法，简单的说，分为两步，一是每次训练一层网络，二是调优，使原始表示x向上生成的高级表示r和该高级表示r向下生成的x'尽可能一致。
《DeepLearning.ai》 第三课：浅层神经网络(Shallow neural networks)
qq_44783439的博客
09-04 355
第三课：浅层神经网络(Shallow neural networks) 3.1 神经网络概述 PASS 3.2 神经网络的表示 如上图，从左到右依次为输入层、隐藏层、只有一个节点的层为输出层，负责输出预测值。 一般称上图网络为两层神经网络，一般不把输入层看做一个标准层，因此该网络有一个隐藏层和输出层。 在隐藏层有两个参数WWW​和bbb​,通常表示为W[1],b[1]W^{[1]},b^{[1]}W[1],b[1]​,WWW​为4∗34*34∗3​矩阵，bbb​为4∗14*14∗1​矩阵，444​来自
【神经网络基础】第二课--浅层神经网络
【人工智能】王小草的博客
05-15 1706
课程来源：吴恩达 深度学习课程 《神经网络基础》 笔记整理：王小草 时间：2018年5月15日 1.神经网络概览 回顾逻辑回归的结构： 圆圈节点内的计算如下，先计算线性z，再过一个sigmoid函数得到a，然后计算损失函数，进行梯度下降法求最优参数。 推广到神经网络,每个圆圈节点都代表以上z，a两步计算（第一层用1表示，第而层用2表示） 相当于如下计算过程： ...
【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——神经网络概述（Neural Network Overview）
汪雯琦的博客
03-24 1476
文章目录3.1 神经网络概述（Neural Network Overview） 3.1 神经网络概述（Neural Network Overview） 本周你将学习如何实现一个神经网络。在我们深入学习具体技术之前，我希望快速的带你预览一下本周你将会学到的东西。如果这个视频中的某些细节你没有看懂你也不用担心，我们将在后面的几个视频中深入讨论技术细节。 现在我们开始快速浏览一下如何实现神经网络。上周我...
Coursera吴恩达《神经网络与深度学习》课程笔记（4）-- 浅层神经网络
热门推荐
红色石头的专栏
09-18 3万+
我的个人网站：红色石头的机器学习之路 我的知乎主页：红色石头 我的微博：RedstoneWill的微博 我的GitHub：RedstoneWill的GitHub 我的微信公众号：红色石头的机器学习之路（ID：redstonewill） 上节课我们主要介绍了向量化、矩阵计算的方法和python编程的相关技巧。并以逻辑回归为例，将其算法流程包括梯度下降转换为向量化的形...
浅层神经网络
Lansonli（蓝深李）的博客
05-04 3672
学习目标 目标 知道浅层神经网络的前向计算过程 知道选择激活函数的原因 说明浅层网络的反向传播推导过程 应用 应用完成一个浅层神经网络结构进行分类 1.3.1 浅层神经网络表示 之前已经说过神经网络的结构了，在这不重复叙述。假设我们有如下结构的网络 对于这个网络我们建立一个简单的图示？我们对第一个隐藏层记为[1]，输出层为[2]。如下图 ...
深度学习-第二章 卷积神经网络面试题（大厂必问，历经半年整理）
聪哥965
02-24 8168
文章目录1.[神经网络](%28https://blog.youkuaiyun.com/cc13186851239/article/details/113983560%29)2.CNN2.1卷积神经网络的结构2.2 Keras搭建CNN2.2经典网络分类2.2.1 LeNet2.2.2 AlexNet2.2.2.1 AlexNet 对比LeNet 的优势？2.2.3 VGG2.2.3.1 VGG使用2个3*3卷积的优势在哪里？2.2.3.2 每层卷积是否只能用一种尺寸的卷积核？2.2.4 Inception(GoogL
第一节课-第三周：浅层神经网络(Shallow neural networks)
努力努力努力
07-09 1501
3.1 神经网络概述（Neural Network Overview） 上周我们讨论了逻辑回归，我们了解了 这个模型(见图 3.1.1)如何与下面公式 3.1 建立联系。 如上所示，首先你需要输入特征????，参数????和????，通过这些你就可以计算出????，公式 3.2： 神经网络看起来是如下这个样子（图 3.1.2）。正如我之前已经提到过，你可以把许多sigmoid 单元堆叠起来形成一个神经网络。对于图 3.1.1 中的节点，它包含了之前讲的计算的两个步骤：首先通过公式
深度学习(DL)-1.3 浅层神经网络 (Shallow neural networks)
Ogmx的博客
09-07 4322
1.神经网络 1.1 基本概念 概述： 在人工智能领域所说的神经网络，是指人工神经网络(Artificial Neural Networks),是一种模拟人脑神经网络而设计出的计算模型，与人脑神经元类似，由多个节点(神经元)相互连接组成，可以对数据之间的复杂关系进行建模。不同节点间的连接被赋予不同的权重，代表一个节点对另一个节点的影响。每个节点代表一种特定函数，结合其他节点的输入与权重后进行计算，计算结果输入到激活函数中，进而得到该神经元的最终输出，再传递给下一个神经元。理论上，只要有足够多的训练数据和神经
【深度学习基础2】神经网络基础--浅层神经网络
Biyoner的博客
12-10 947
        转载请注明出处。谢谢。         本博文根据 coursera 吴恩达 深度学习整理。作为理解神经网络的基础。         本章主要内容分为两个部分，第一理解浅层网络中的前向和后向传播规则，尤其要注意其中的标注规范；第二了解到实现的细节，包括激活函数的选择以及权重初始化等更为工程化的内容。   一、知识点 1. 单个隐藏层的神经网络              ...
Deeplearning.ai - 浅层神经网络
Sunlight的博客
03-20 412
神经网络和深度学习 吴恩达 Andrew Ng 浅层神经网络 神经网络概览 神经网络表示 输入层a[0]a[0]a^{[0]}、隐藏层a[1]a[1]a^{[1]}、输出层a[2]a[2]a^{[2]} 多个逻辑回归的叠加 计算神经网络的输出 将各个元素竖向叠加起来构成一个大矩阵 向量化计算 各个矩阵的大小 多个样本的向量化 圆括...
浅层神经网络--java
qq_33594376的博客
08-21 349
目标：构建一个浅层神经网络来对坐标轴里的点进行分类。 数据集： 红色为0类，绿色为1类 网络架构： 构建浅层神经网络 0.辅助工具类 public class MyMathUtil { public static INDArray FUN_IND(INDArray value, DoubleFunction<Double> doubleFunction){ ...
神经网络基础—浅层神经网络
OkingjerryO的博客
11-22 788
来源： coursera DeepLearningAI-Shallow Neural Network 课程的笔记整理 浅层神经网络浅层神经网络 层 表达方式 激活函数 概述 为何需要它 常用激活函数的导数 随机初始化参数向量 层 可以将计算中的每一步视为神经网络的一个层。 隐藏层：不被观察到的层，大多数指在计算中未被表述的层。 表达方式 注意：输入不算层数。所以上层为一个2层神经网络 a[layer
基于卷积神经网络的边缘检测方法研究
值得一提的是，压缩包内仅包含一个PDF文件：“9783319406626-c2.pdf”，该编号格式符合Springer出版社电子书章节的标准命名规则，推测此为某本关于计算机视觉或深度学习专著中的第二章内容。此类学术资料通常具有...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值