李宏毅_深度学习之BP网络

最新推荐文章于 2025-01-04 05:02:01 发布
最新推荐文章于 2025-01-04 05:02:01 发布
阅读量400 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 李宏毅 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43848117/article/details/97795421
本文探讨了在神经网络中，面对大量参数时梯度下降方法的局限性，并介绍了BP(BackPropagation)网络如何通过链式法则有效计算上百万维数据下的偏微分，实现参数寻优。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

BP(Back Propagation)网络

梯度下降无法在神经网络中大量参数的情况下进行寻优。如何在上百万维的数据下，有效的计算出来，就需要BP网络。
梯度下降

链式法则（chain rule）

链式

原理

举例
先考虑某一个神经元：
举例1举例 2
举例3
举例4
举例5
举例6
举例7
链式法则的应用：
case1
举例8
举例9
BP网络就是向后往前算偏微分
举例11
举例12

总结

总结

李宏毅深度学习笔记——深度学习基本概念
gzhhappy的博客
12-14 1573
深度学习 神经网络 神经元示意图（转载） Inputs：输入。 Weights：权值，权重。 Bias：偏置，或者称为阈值 (Threshold)。 Activation function：激活函数。 1958年，计算科学家Rosenblatt提出了由两层神经元组成的神经网络。在“感知器”中，有两个层次。分别是输入层和输出层。输入层里的“输入单元”只负责传输数据，不做计算。输出层里的“输出单元”则需要对前面一层的输入进行计算。与神经元模型不同，感知器中的权值是通过训
李宏毅学深度学习(入门)#Datawhale X 李宏毅苹果书 AI夏令营#
2401_84022241的博客
08-27 736
损失是函数 L(b, w)，其输入是模型参数 b 跟w。损失函数输出的值代表，现在如果把这一组未知的参数，设定某一个数值的时候，这笔数值好还是不好。例：假设未知的参数的设定是 b = 500，w = 1，预测未来的观看次数的函数就变成 y = 500 + x1。要从训练数据来进行计算损失，在这个问题里面，训练数据是这一个频道过去的观看次数。举个例子，从 2017 年 1 月 1 日到 2020 年 12 月 31 日的观看次数（此处的数字是随意生成的）如图所示，接下来就可以计算损失。
深度学习-李宏毅
09-25
台大教授李宏毅全套深度学习讲义,是深度学习爱好者入门的完美资料 值得大家拥有 者入门的完美资料 可以配合视频一起学习
李宏毅深度学习笔记（八）BP(Back Propagation)神经网络
comli_cn的博客
11-13 648
为了使得计算梯度下降时更加有效率，我们使用反向传播(backpropagation)。 链式法则 我们使用链式法则对神经网络的损失函数求偏导然后就可以代入式子优化参数了： 其中 我们先考虑其中的一个节点： 如图所示我们称∂z∂w\frac{\partial z}{\partial w}∂w∂z​为前传(Forward pass)，称∂C∂z\frac{\partial C}{\parti...
【李宏毅机器学习笔记】BP算法
weixin_44151650的博客
08-20 394
Backpropagation 神经网络中，我们利用梯度下降法来对损失函数进行优化，这在神经元数量不多的时候很有效。但是深层神经网络中，有上百万的参数需要调整，单纯使用梯度下降法可以算，但几乎不可能算完。因此我们需要更有效的方法来优化损失函数，这也就引出了反向传播(backpropagation) 链式法则 下图是多层神经网络的一个模型，现在我们要对损失函数L进行优化，即对其中每个参数求偏导。以图中三角部分为例，展开： 假设该部分的模型函数如下： z=w1x1+w2x2+bz=w_1x_1+w_2x_2+
BP算法（李宏毅课堂笔记）
Raywit的博客
06-11 1148
BP算法1. GD算法2. Forward pass3. Backward pass 1. GD算法         首先，简要回忆一下GD梯度下降算法：                       &
【李宏毅ML笔记】 11 BP反向传播
wffzxyl的博客
02-27 710
梯度提升在神经网络训练中的过程：实际，BackPropagation是一种比较有效率计算的Gradient Descent方法记住BackPropagation中的链式法则Chain Rule如下：以上，即多元复合函数的求导公式，如下：如下，在Neuron Network的training中，yn 与 yn^的距离，即（偏差）距离值定义为Cn。累加所有的Neuron的（偏差）距离值，得到整个Net...
【第一周】李宏毅机器学习笔记01
qq_30043925的博客
06-30 2459
本周学习了机器学习的基本概念，包括机器学习的函数输入输出类型以及函数的分类，分别了解了简单模型和复杂模型的训练三步骤。认识了神经网络的的结构，了解了深度学习的训练三步骤，学习并手动推导了反向传播法，进一步理解了反向传播的思想以及反向传播中涉及的计算思路。
Transformer（李宏毅）机器学习 2023 Spring HW5 (Boss Baseline)
最新发布
m0_66773231的博客
01-04 1133
许多机器学习任务，如语音识别、机器翻译与语音翻译等，都有一个共同的特点：它们都需要将一个输入序列转换为一个输出序列，并且输入序列和输出序列的长度通常是不固定的。Seq2Seq（Sequence-to-Sequence）模型正是为了解决这类问题而设计的。Seq2Seq 模型是一种用于处理序列数据的深度学习模型，主要用于将一个输入序列转换为另一个输出序列。传统的Seq2Seq模型主要基于循环神经网络（RNN），特别是长短期记忆网络（LSTM）和门控循环单元（GRU）。​。
【李宏毅机器学习视频汇总】2016~2021李宏毅机器学习内容汇总及一些学习建议
Beasts136的博客
01-11 828
李宏毅机器学习2016~2021汇总，学习指引
李宏毅机器学习BP
m0_58586235的博客
03-12 135
李宏毅深度学习笔记（九）BP(Back propagation)神经网络计算详解（手算）
comli_cn的博客
11-14 4075
这里我用一个实例来实现以下BP神经网络计算的过程： 这个实例中输入x1=1x_1=1x1​=1，x2=−1x_2=-1x2​=−1，输出y=0.5y=0.5y=0.5，w1w_1w1​到w6w_6w6​为参数。 先通过上述模型计算出各个神经元的输入与输出： 构造损失函数，这里我们使用交叉熵损失函数C=−y^lnyC=-\hat ylnyC=−y^​lny 接下来用反向传播来求解偏导数： 到这一...
李宏毅教授神经网络基础架构课程笔记总结
weixin_42825220的博客
07-25 195
Basic Structure 预备知识： 神经网络相当于由简单函数(neurons)组成的函数集 Fully Connected Layer Recurrent Structure 反复利用同一个结构 相较于前馈网络，前馈网络的参数更多，会容易过拟合 深层RNN 双向RNN Pyramidal RNN 可以把seque...
【李宏毅2021机器学习深度学习】3. CNN
py今天刷题了吗
12-03 460
文章目录【3-1】09_CNN1.some patterns脑洞大开：Simplification 1 —— Typical Setting2. different regionsparameter sharing（参数共享）Simplification2 —— Typical SettingConvolutional Layer另一种讲CNN的方式（过去讲的方式）只要网络够深，不怕侦测不到 大的patterntwo story are the same3. pooling对于精细的特征，pooling也可
李宏毅机器学习课程（2020）之神经网络简介
不负如来不负卿
03-13 776
神经网络简介 这个章节对神经网络做个基本介绍。 主要介绍两个点： 一个是网络结构： 名词解释： InputLayer：输入层 一个是交叉熵 Ref： 1、youtube 2、B站学习 ...
李宏毅ML lecture-10 CNN
Arron_hou的博客
02-21 749
李宏毅ML lecture-10 CNNConvolutionstridepaddingMaxPoolingflattenFully Connected FeedforwardCNN的直观理解相关论文理解CNN深度强化网络CVAlexNetR-CNNNLP语言识别情感分析其他论文 CNN比DNN更为简单 CNN过滤器,目的就是寻找一种pattern,这种pattern远远小于整个图片的大小，同时是...
李宏毅机器学习笔记（8）：backpropagation
wasser000的博客
02-04 1026
0 引言 回顾一下之前学习过的，在求解神经网络时，我们通常使用梯度下降算法进行求解。 首先，先自定义一组参数作为我们的起始值，之后计算我们需要使用的梯度，有了梯度之后就可以利用它进行迭代求解了，如图0-1。 显而易见的是，在一个神经网络中，可能参数数目成千上万，远超过我们的想象，那么这么庞大的计算量，我们就需要一些可以辅助我们的工具。backprop...
【李宏毅机器学习2021】Task04 深度学习介绍和反向传播机制
QAQterrible的博客
10-17 1590
【李宏毅机器学习2021】本系列是针对datawhale《李宏毅机器学习-2022 10月》的学习笔记。本次是对深度学习介绍和反向传播机制的学习总结。本节针对上节课内容，对batch、梯度下降方法进行讲解。通过本次学习加深了对optimization方法的理解，同时明白对深度学习的优化方向和解决办法。 = =原本17年的视频将bp来着，到21年视频里么有找到bp的。把之前将loss的过完了，和题目出入较大。后面把bp的视频和笔记补上，其实第二次笔记已经写了BP相关的逻辑。
李宏毅机器学习课程7~~~反向传播
jiandanjinxin的专栏
07-30 1385
到底为什么基于反向传播的纯监督学习在过去表现不佳？Geoffrey Hinton总结了目前发现的四个方面问题：带标签的数据集很小，只有现在的千分之一. 计算性能很慢，只有现在的百万分之一. 权重的初始化方式笨拙. 使用了错误的非线性模型。 深度学习=许多训练数据+并行计算+规模化、灵巧的的算法链式法则反向传播直接套用链式法则先计算链式法则里面的第一项计算链式法则第二项，第二项继续使用链式法则链式法则
李宏毅教授深度学习入门PPT资料
- 如何利用在线课程、书籍、论文和实际项目来系统地学习深度学习。 - 对于初学者而言，推荐的入门路径和需要掌握的基本知识。 7. 一天精通深度学习的误区 - 破除快速精通的神话，认识深度学习领域需要长期学习和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值