一图搞懂深度学习反向传播

最新推荐文章于 2025-12-17 17:41:55 发布

原创最新推荐文章于 2025-12-17 17:41:55 发布 · 238 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #pytorch #深度学习

部署运行你感兴趣的模型镜像

梯度下降与反向传播
1、反向传播是求解损失函数关于各个参数的梯度的一种方法。（求梯度【偏导数】）

2、梯度下降是根据反向传播计算得到的梯度（偏导）来更新各个权重W，使损失函数极小值的一种方法。（使权重W更好）

下图就是反向传播的计算方法
在这里插入图片描述

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。它提供了一个灵活的平台,用于构建和训练各种机器学习模型

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ZHVEH

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

图解反向传播算法

wjw1993year的博客

11-15

3370

图解反向传播算法在训练神经网络时，前向传播是网络从接收输入 xxx 直到它产生一个标量代价函数 J(θ)J(\theta)J(θ) ，反向传播（BP）则是代价函数的信息通过网络向后流动并计算梯度。计算图可以准确地描述网络的前向和后向过程，而且代码实现图这种数据结构后，可以利用到图的遍历、拓扑排序等经典算法来实现通用的BP算法。参考资料：花书《深度学习》第六章自动微分开源项目：https://gitee.com/Carl-Xie/AutodiffEngine 问题引入训练神经网络时，需要计算参数

反向传播理论更新梯度分析（超级详细附图）

weixin_55189321的博客

06-26

1万+

这就是对一个前向传播中的某个参数进行梯度更新的过程，当然这个更新过程不可能是一次完成的，在进行完一次反向传播更新梯度后紧接着会进行下一个前向传播，然后重新计算误差，这样多次循环之后会使得损失值逐渐降低，当达到某个设定值时这个循环更新梯度的过程就会停止，从而完成一整个训练流程。这是一个简单的三层神经网络X1和X2都是输入的数据，每个蓝色球就代表一个神经元，而每个神经元是由两个部分组成，一个是输入值X和权重系数W的线性方程，即表示为e=WX+b,b是偏置，上面这一行的e就是指的神经元的e。

1 条评论您还未登录，请先登录后发表或查看评论

深度学习——以图读懂反向传播

woshicao11的博客

08-18

8275

献上台大李宏毅老师的讲解： http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2015_2/Lecture/DNN%20backprop.ecm.mp4/index.html 1 问题的引入（背景） 深度学习属于机器学习，机器学习的三个步骤就是：模型，策略和计算方法。比如LR，模型使用的LR模型（LR是基于伯努利假设，伯努利属于指数分布族，指数...

一文读懂反向传播算法原理

热门推荐

热爱永不过时！

05-28

1万+

1.前言写这个文章主要是因为学习了吴恩达老师的机器学习视频，在神经网络的反向传播算法（Back Propagation）的公式推导有些模糊，所以自己也查阅了很多资料，才基本搞明白其中的原理。所以希望通过写一下文章来进行梳理一下。因为本文的公式推导是基于吴恩达老师的课程，课程里的神经网络部分主要讲述的是神经网络在分类的应用，因此激活函数采用的是sigmoid函数，下面的公式推导也基于这个进行推导。最后，因为自己是刚开始学习机器学习，所以可能理解上存在一些小的偏差。如果文章中有错误，欢迎大家指

梯度和反向传播

one_super_doer的博客

08-12

1502

梯度是什么？梯度：是一个向量，指的是学习（参数更新）的方向计算图和反向传播 计算图：通过图的方式来描述函数的图形 J(a,b,c)=3(a+bc)J(a,b,c)=3(a+bc)J(a,b,c)=3(a+bc)，令u=a+v，v=bcu=a+v，v=bcu=a+v，v=bc，把它绘制成计算图可以表示为：之后对每个节点求偏导有：神经网络的反向传播 神经网络的示意图 w1,w2,......wnw1,w2,......wnw1,w2,......wn表示第n层权重 wn[i,j]wn[i,j]wn[

深度学习之反向传播

2202_76009199的博客

01-27

2286

在这个图中，最左边五个输入表示的是输入的x1到x5，连线表示经过和权重的混合运算，，第二层是隐藏层，输入的样本数量是5，输出的样本数量是6，那么输出相当于是输入6*5的权重矩阵*5*1的样本矩阵得到的结果。在图中，我们的x并不是表示我们的初始输入，我们表示的是某一层的输入，该层可能是隐藏层，那么这时x是原始样本输入经好多权重的运算得到的结果，只有求出loss对x的梯度，才能前馈得到loss对前面权重的梯度。在计算图中，对于不同的计算模块（绿色部分），它求局部的偏导的方法是不同的。

精选资源

深度学习反向传播四大公式详细推导

08-24

深度学习中的反向传播是训练神经网络模型的关键步骤，它涉及到计算损失函数关于网络中所有参数的梯度。本文将详细讲解反向传播的四个核心公式，并通过一个单个样本的推导过程来帮助理解。首先，反向传播的目标是...

一天搞懂深度学习ppt

06-21

压缩包内的“一天搞懂深度学习.pdf”文件，很可能是李宏毅教授课程的完整讲义或者幻灯片的PDF版本，里面可能会详细解释深度学习的基础知识，如神经网络的结构、反向传播算法、损失函数、激活函数的选择、卷积神经...

精选资源

快速入门深度学习（六）——彻底搞懂前向_反向传播.pdf

04-19

在深度学习领域，前向传播和反向传播是两种核心的算法机制。前向传播用于根据输入数据计算模型输出，而反向传播则用于根据损失函数的结果来更新网络权重，使得模型更好地适应训练数据。在深度学习和机器学习的背景下...

一天搞懂深度学习

03-14

"一天搞懂深度学习"这个主题涵盖了深度学习的基础概念、核心模型以及实际应用，旨在帮助初学者快速理解和掌握这一技术。首先，我们来探讨深度学习的基本概念。深度学习的核心是神经网络，它由一系列的层（如输入层...

深度学习之反向传播算法

weixin_43886278的博客

03-07

494

最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推...

一张图看懂反向传播算法（Back Propagation）

思我所

02-18

1725

问每一个点：为了更好地对你进行分类，这些模型应该怎么做？

深度学习网络反向传播时梯度计算图（Computational Graph）详解

zeeq的博客

03-17

1676

首先，引出一个术语：gate。它指一个函数，也可以理解为上一个例子中的circuit diagram的每个节点。比如q=x+y是一个gate，f=qz也是一个gate。任何一类可微函数都可以作为一个gate，我们可以把多个gate组合成一个gate，或者在方便的时候把一个gate分解成多个gate。下面看例子：这个表达式描述了一个使用sigmoid激活函数的二维神经元（输入x和权重w）。但现在让我们简单地把它看作是从输入w，x到一个数的函数。该函数由多个gate组成，可以拆解为更简单的函数：

以太联的自愈功能与看门狗机制解析

suzhou_speeder的博客

12-15

1076

看门狗(Watchdog)是一种硬件或软件实现的定时器机制，其核心功能是监控系统或程序的运行状态，防止程序跑飞或陷入死循环。案例：车载以太网交换机通过硬件看门狗实时监测链路状态，若检测到链路中断(如3ms内未收到心跳包)，立即启用备用路径，确保刹车、转向等关键系统永不掉线。案例：某智能工厂的PLC(可编程逻辑控制器)采用软件看门狗，若主程序因干扰死机，看门狗机制自动重启PLC，恢复生产流程。三者协同工作，实现“设备-交换机-网络”三级自愈，显著提升网络可靠性、降低运维成本，并为企业数字化转型提供坚实基础。

多模态赋能情绪理解：Qwen3-VL+LLaMA-Factory 的人脸情绪识别实战

最新发布

Lab4AI的博客

12-17

492

本项目依托Lab4AI平台，基于LLaMA-Factory成功对Qwen3-VL进行了完整的微调流程。我们将传统的人脸情绪识别任务与多模态大语言模型（MLLM）相结合，探索了MLLM在视觉情绪理解中的应用。通过微调Qwen3-VL，我们成功将传统的分类任务转化为多模态推理任务，显著提升了模型在复杂场景下的鲁棒性和准确率。这一方案不仅在人脸情绪识别上取得了显著提升，还为其他视觉任务的多模态大模型应用提供了新的思路，具有广泛的应用前景。

Transformer架构的原理是什么？

SACKings的博客

12-15

709

对于“Thinking”这个词，它的输出向量可能包含了90%它自己的信息和10%“Machines”的信息。而对于“Machines”，它的输出可能包含了70%它自己的信息和30%“Thinking”的信息。Transformer 架构的原理是理解现代大模型（如 GPT、BERT、T5 等）的基石。正是因为这些原理上的优势，Transformer才取代了RNN和CNN，成为了当今AI大模型时代的统治性架构。的（打乱输入顺序，输出可能不变），它没有内置的位置概念。Q·K 然后Softmax。

AIDD-人工智能药物设计-扩散模型热力学：从 AI 提取物理能量

itwangyang520的博客

12-14

1090

扩散模型的核心是加噪与去噪。这对业界的启示是，要实现精准医疗，特别是针对耐药突变的药物设计，不能仅依赖大语言模型（Large Language Model, LLM）处理序列。他们从文献和数据库中挖掘了过去被忽略的细节：氨基酸的替换、插入、缺失，以及关键的磷酸化修饰，最终整理出 4032 对新的激酶 - 配体数据。GeneGPT 曾展示了大语言模型（LLM）在生物医药领域的潜力，而 OpenBioLLM 提出了不同于 GeneGPT 单体（Monolithic）架构的方案：组建由「专家」构成的团队。

vLLM推理引擎教程4-离线推理功能

benben044的专栏

12-12

1158

本文介绍了使用vLLM框架优化推理性能的多种方法。主要内容包括：1）基础文本生成、对话式推理、文本分类和嵌入提取四种任务的基本实现；2）自动前缀缓存功能，通过共享KV缓存加速长上下文处理；3）使用YARN方法扩展模型上下文长度；4）多模态任务处理示例（Whisper语音识别）；5）底层LLMEngine API的使用。文章通过具体代码示例展示了如何设置参数实现各类推理优化，包括温度调节、top-p采样、缓存复用等技巧，适用于文本生成、分类、嵌入等多种NLP任务场景。

观成科技:Zloader木马家族加密流量分析

GCKJ_0824的博客

12-12

860

摘要：Zloader木马最初作为银行木马Zeus的下载器，现被广泛用于勒索软件投递。其采用多种加密通信技术规避检测：1）DGA技术生成随机域名；2）DNS隧道隐藏数据；3）HTTPS加密通信；4）Websocket掩码加密。最新版本通过会话密钥强化DNS隧道加密。观成科技利用AI模型结合TLS指纹检测HTTPS加密流量，持续通过行为分析和机器学习应对加密威胁。研究表明，恶意软件正不断升级流量对抗技术，凸显加密流量检测的重要性。（149字）

一文彻底搞懂深度学习 - 反向传播

07-23

反向传播算法（Back-Propagation Algorithm，简称BP算法）是深度学习模型中用于优化神经网络参数的关键技术之一。其核心思想是通过链式求导法则，从输出层向输入层反向逐层计算神经网络中各参数的梯度，并利用这些梯度进行参数更新，从而最小化损失函数。 ### 神经网络与损失函数在深度学习中，神经网络通过多层非线性变换将输入数据映射到输出空间。每层网络的参数（如权重和偏置）决定了模型的表达能力。为了衡量模型输出与真实标签之间的差异，通常定义一个损失函数（Loss Function），如均方误差（Mean Squared Error, MSE）或交叉熵损失（Cross-Entropy Loss）。反向传播的目标是通过最小化该损失函数来优化网络参数。 ### 反向传播的基本流程 反向传播算法的实现依赖于计算图（Computation Graph）的构建。在前向传播阶段，输入数据依次经过各层网络计算，最终得到输出结果。此时，损失函数的值也被计算出来。在反向传播阶段，系统利用链式法则从输出端开始，逐层计算损失函数对每个参数的偏导数，即梯度。这些梯度随后被用于参数更新，通常采用梯度下降法（Gradient Descent）或其变体（如Adam、RMSProp等）： $$ w_{\text{new}} = w_{\text{old}} - \eta \cdot \frac{\partial L}{\partial w} $$ 其中，$ w $ 是参数，$ L $ 是损失函数，$ \eta $ 是学习率。 ### 链式法则与梯度传播 反向传播的核心在于链式法则的应用。假设某一层的输出为 $ y = f(x) $，而损失函数 $ L $ 是 $ y $ 的函数，则损失函数对 $ x $ 的导数可以通过链式法则计算： $$ \frac{dL}{dx} = \frac{dL}{dy} \cdot \frac{dy}{dx} $$ 这一过程从输出层开始，逐层向前传播，确保每一层的参数都能根据其对最终损失的影响进行更新。这种从后向前的梯度传播机制使得神经网络能够高效地进行参数优化。 ### 自动微分与现代深度学习框架现代深度学习框架（如TensorFlow、PyTorch）实现了自动微分（Automatic Differentiation），可以自动构建计算图并跟踪所有操作，使得用户只需定义前向传播过程，框架会自动处理反向传播的梯度计算。这种方式极大地简化了神经网络的实现过程，提升了开发效率[^2]。以下是一个简单的PyTorch代码示例，展示了如何使用自动微分进行反向传播： ```python import torch # 定义可学习参数 w = torch.tensor([1.0], requires_grad=True) b = torch.tensor([0.5], requires_grad=True) # 前向传播 x = torch.tensor([2.0]) y_pred = w * x + b y_true = torch.tensor([3.0]) # 计算损失 loss = (y_pred - y_true) ** 2 # 反向传播 loss.backward() # 打印梯度 print("w的梯度:", w.grad) print("b的梯度:", b.grad) ``` ### 梯度更新与优化在获得梯度后，模型通过优化器（如SGD、Adam等）对参数进行更新。以随机梯度下降（SGD）为例，其更新规则为： $$ w_{t+1} = w_t - \eta \cdot g_t $$ 其中，$ g_t $ 是当前批次的梯度估计值。Adam优化器在此基础上引入动量和自适应学习率机制，能够更有效地处理非凸优化问题。 ### 总结 反向传播算法通过链式法则高效地计算神经网络中各参数的梯度，是深度学习模型训练的核心机制。现代框架通过自动微分技术简化了其实现，使得开发者能够专注于模型设计与调优。反向传播不仅在理论层面具有坚实的数学基础，也在实际应用中展现出强大的优化能力。