反向传播算法（BP）（学习用，有注释笔记）

最新推荐文章于 2025-05-28 11:02:20 发布
最新推荐文章于 2025-05-28 11:02:20 发布
阅读量79 收藏
点赞数 1
分类专栏： 机器学习笔记 文章标签： 机器学习 算法
原文链接：https://blog.youkuaiyun.com/u014313009/article/details/51039334
版权
BP神经网络算法
猫敷雪
08-05 809
科普 生物上的神经元就是接受四面八方的刺激(输入)，然后做出反应(输出)，给它一点阳光就灿烂。 仿生嘛，于是喜欢放飞自我的某些人就提出了人工神经网络。一切的基础—>人工神经元，看图： 通往沙漠的入口: 神经元是什么，有什么用： 开始前，需要搞清楚一个很重要的问题：人工神经网络里的神经元是什么，有什么用。只有弄清楚这个问题，你才知道你在哪里，在做什么，要往哪里去。 首先，回顾一下神经元的结构，看下图, 我们先忽略激活函数不管： 输入 x1,x2,…,xn\mathrm{x}_{1
[深度学习][5] 前馈神经网络与反向传播 以及TensorFlow2.0实现
GrandpaDZB的博客
07-10 786
文章目录1 前馈神经网络及其产生动机1.1 问题的产生1.2 前馈神经网络的模型描述2 损失函数的选择2.1 均方误差（MSE）2.2 交叉熵（cross entropy）3 输出层的选择3.1 Sigmoid输出单元3.2 Softmax输出单元4 激活函数的选择4.1 整流线性单元及其拓展4.2 Sigmoid函数4.3 双曲正切tanh函数4.4 其他的激活函数5 随机梯度下降与反向传播（BackPropagation）6 TensorFlow2.0的实现 1 前馈神经网络及其产生动机 1.1 问题的
【机器学习】彻底理解神经网络中的反向传播算法（BP）
热门推荐
刘望的博客
05-27 1万+
目录 1，前言 2，例程 Step 1 前向传播 Step 2 反向传播 3，代码实现 1，前言 最近在看机器学习神经网络方面的知识，也看了很多关于反向传播算法原理的介绍，有一篇文章写的很好，在这里记录下，并且加入自己的理解。反向传播法其实是神经网络的基础了，但是很多人在学的时候总是会遇到一些问题，或者看到大篇的公式觉得好像很难就退缩了，其实不难，就是一个链式求导法则反复用。如果不想...
BP（back propagation）反向传播算法，BP神经网络
qq_23100417的博客
10-16 2798
声明：本文来源https://blog.youkuaiyun.com/zhaomengszu/article/details/77834845，感谢作者分享，使用具体例子来理解BP更详细。 BP（back propagation）反向传播算法，基本思想： 反向传播算法是利用了神经网络的结构进行的计算，不一次计算所有参数的梯度，而是从后往前。首先计算输出层的梯度，然后是第二个参数矩阵的梯度，接着是中间层的...
BP——反向传播算法公式推导及代码
sunny_yeah_的博客
03-14 1万+
BP——反向传播算法计算过程详解人工神经网络的结构前向传播激活函数反向传播梯度下降具体计算过程 本文主要参考吴恩达和李宏毅的深度学习视频，然后自己做的笔记 反向传播计算部分参考李宏毅的视频讲解，要是有童鞋也对反向传播这一部分的计算不那么清明，可以考虑选择留下来看看我的笔记，也可以移步李宏毅大神的视频讲解 人工神经网络的结构 (注：Markdown敲公式对我来说太困难，后面的公式都用图片的形式展...
学习笔记-反向传播算法
weixin_30411239的博客
03-26 298
反向传播算法 （ BackPropagation,BP） PS：需要掌握高等数学中的链式求导法则、偏导数、梯度概念。有一定的神经网络基础知识。 反向传播简介 反向传播原理及实现 总结 一、反向传播简介 　　　　BP算法是神经网络用于更新权值的算法，可以说是能让神经网络开始“学习”的核心，所以理解这个算法是非常重要的。本着实践是检验是否理解的唯一标准的原则，我借用了另一位博...
反向传播神经网络 BP
Suo_ivy的博客
05-09 510
我一直在找一份简明的神经网络入门，然而在中文圈里并没有找到。直到我看到了这份162行的Python实现，以及对应的油管视频之后，我才觉得这就是我需要的极简入门资料。这份极简入门笔记不需要突触的图片做装饰，也不需要赘述神经网络的发展历史；要推导有推导，要代码有代码，关键是，它们还对得上。对于欠缺的背景知识，利用斯坦福大学的神经网络wiki进行了补全。单个神经元神经网络是多个“神经元”（感知机）的带权...
笔记整理：前向传递与反向传播
Hu_xz的博客
12-27 2478
前向传递与反向传播 引言 神经网络其实就是一个输入XXX到输出YYY的映射函数：f(X)=Yf(X)=Yf(X)=Y，函数的系数（权重）就是我们所要训练的网络参数WWW，只要能够确定网络参数WWW，对于任何的输出xix_ixi​就能得到与之对应的yiy_iyi​。 问题 当我们手中只有训练集的输入XXX和输出YYY，我们应该如何调整网络参数WWW，使得输出的f(X)=Y^f(X)=\hat{Y}f...
一文弄懂神经网络中的BP反向传播算法
冷月无声的博客
04-18 2143
　　注：本文转自 一文弄懂神经网络中的BP反向传播算法-Charlotte77-博客园安利Charlotte77 的深度学习系列博客 最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程（英文版），有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。...
神经网络学习笔记（5）——BP算法代码讲解
LiQZ的博客
10-08 1682
其实我很不愿意写这篇文章的，主要是我代码没跑通！没跑通！没跑通！对于我一个多月没敲过代码后敲的第一份代码来说打击感巨大。但是想了想之前两篇文章都说了国庆要写一篇……然后我的完美主义犯了…… 代码没跑通其实真不是我的原因，因为书上代码是错的……一方面是书上用python2写的，我是python3环境，第二方面是代码中的公式错了……这个代码我用了3天时间，推了整整3页草稿纸，又向师兄请教了两天，最后发现，好像代码真的错了…… 嗯……开始正文前我还是放出我公式推导的草稿纸…… 这是其中一页，然后原谅我计算机.
DL笔记：深入理解反向传播（BackPropagation）算法
AI新视界
11-07 626
最近在学习深度学习的东西，一开始看的吴恩达的ML教程，有些不是太理解。反向传播法其实是神经网络的基础了，但是很多人在学的时候总是会遇到一些问题，或者看到大篇的公式觉得好像很难就退缩了，其实不难，就是一个链式求导法则反复用。如果不想看公式，可以直接把数值带进去，实际的计算一下，体会一下这个过程之后再来推导公式，这样就会觉得很容易了。 　　说到神经网络，大家看到这个图应该不陌生： ...
BP神经网络—从推导到实现
weixin_55712138的博客
08-29 1027
目录 一、BP神经网络结构与原理 1 神经网络 1.1 神经网络的基本知识 1.2 神经网络的工作过程 2 前向传播 3 反向传播 4 BP算法原理及实施步骤 4.1 算法原理 4.2 实施步骤 二、实例编程实现（python语言） 三、推荐参考文献 一、BP神经网络结构与原理 1 神经网络 1.1 神经网络的基本知识 神经网络结构，总体上由三部分组成：输入层、隐藏层（为方便起见，图中给出一层，实际中可以有多层）和输出层。神经网络结构如下图所示（放两个图，方...
手写感知器的反向传播算法 Part2：基于理论推导的代码实践：如何实现自己的第一个神经网络完成手写体识别？（上）
vindicater的博客
01-06 914
本文章中给出的部分虽然没有涉及到实际上的正向推理或者反向传播的具体计算方式，但是本文作者认为在重要性上不弱于下篇，也就是关于细节上如何实现正向传播和反向传播的操作介绍。因为对于初学者而言，这个范式，也就是怎么把一个程序的框架搭出来，其内在信息是相当丰富的，也是后续在各种实验中都会有用的一种技能。所以建议所有的读者仔细阅读搞懂背后的思想，内化于自身。同时敬请期待我的下篇文章。将上下两篇文章同时阅读理解之后，完成手写BP神经网络完成手写体识别将不再话下。
【漫话机器学习系列】275.GrabCut 算法——用于去除图片背景（Grabcut For Removing Image Backgrounds）
IT古董
05-24 765
GrabCut 是由微软剑桥实验室于 2004 年提出的一种交互式图像前景分割算法。相比传统的图像分割方法，它的亮点是：支持用户轻松交互，只需简单画个矩形；基于高斯混合模型（GMM）与图割（Graph Cut）优化；分割效果细腻，适用于复杂背景下的图像处理。GrabCut 是一项结合图割与 GMM 的强大图像分割算法；通过手动圈定目标区域，就能自动判断前景与背景；适合中等难度的抠图任务，是 OpenCV 实战中的常用技能之一。
机器学习第二十六讲：官方示例 → 跟着菜谱学做经典菜肴
kovlistudio的博客
05-24 1083
机器学习第二十六讲：官方示例 → 跟着菜谱学做经典菜肴
【漫话机器学习系列】276.梯度悬崖(Gradient Cliff)
IT古董
05-24 793
《深度学习中的梯度悬崖问题解析》摘要 本文深入剖析了深度学习优化过程中的梯度悬崖现象。梯度悬崖指损失函数曲线出现急剧下降区域，导致梯度骤增，使优化算法可能越过最优解，引发训练不稳定甚至失败。文章图文并茂地展示了梯度悬崖的形成机制，分析了其成因包括不当的初始参数设置、过高学习率、复杂损失函数形状等。针对性地提出了五项解决方案：合理设置学习率及衰减策略、使用梯度裁剪技术、优化损失函数设计、选用平滑激活函数，以及采用优化初始化策略。通过系统性地理解并应对梯度悬崖问题，可有效提升模型训练的稳定性和收敛效果。
同源“平滑思想”的问题解法：正则化与拉普拉斯平滑
最新发布
qq_32205577的博客
05-28 822
正则化与拉普拉斯平滑，一个是机器学习的“参数约束工具”，一个是概率模型的“分布修正技术”，看似分属不同领域，实则共享“平滑思想”的内核——通过调整目标函数或统计量，对极端情况进行缓和，使模型或分布更接近真实规律。
线性回归中标准方程法求逆失败的解法：正则化
qq_32205577的博客
05-28 942
当设计矩阵XTXX^T XXTX不可逆时，标准方程法因无法计算逆矩阵而失效。正则化通过向目标函数添加惩罚项，将原矩阵XTXX^T XXTX替换为XTXλIXTXλI，使其重新可逆，同时控制模型复杂度，提升泛化能力。对于线性回归任务，掌握正则化方法是解决“矩阵不可逆”问题的关键技术。实际应用中，需根据数据特点选择L1或L2正则化，并通过交叉验证调整正则化系数，确保模型在避免过拟合的同时保持良好的预测能力。
学习深度学习是否要先学习机器学习？
2501_91695603的博客
05-17 1821
不管你后面是不是真的想要从事机器学习或者深度学习这方面，我都希望你能有时间去学习的时候，多多的了解一下 AI 技术 ，还是那句话，时间紧的情况下，怎么快速的为目标服务是最重要的，先学对自己有用自己需要的内容。就比如我给计算机一些动物的图片，然后告诉计算机哪个是老虎，哪个是狮子，计算机根据我给出的“图片和答案的特征”去学习“老虎为什么是老虎，狮子为什么是狮子”。这三部分看着挺唬人，其实只需要学习需要的内容，如果你的时间稍微宽裕一点，可以花一个半月左右的时间，如果时间紧，那就压在一个月以内一鼓作气的搞定。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值