矩阵向量求导链式法则

最新推荐文章于 2025-10-15 08:26:45 发布
翻译 最新推荐文章于 2025-10-15 08:26:45 发布 · 4.4k 阅读 · 28 ·
CC 4.0 BY-SA版权
原文链接：https://www.cnblogs.com/pinard/p/10825264.html
文章标签：

#深度学习

1. 向量对向量求导的链式法则

       首先我们来看看向量对向量求导的链式法则。假设多个向量存在依赖关系，比如三个向量x→y→z存在依赖关系，则我们有下面的链式求导法则：

       

2. 标量对多个向量的链式求导法则

      在我们的机器学习算法中，最终要优化的一般是一个标量损失函数，因此最后求导的目标是标量，无法使用上一节的链式求导法则，比如2向量，最后到1标量的依赖关系：x→y→z，此时很容易发现维度不相容。

       

 　  如果是标量对更多的向量求导,比如y1→y2→...→yn→zy1→y2→...→yn→z，则其链式求导表达式可以表示为：

      

3. 标量对多个矩阵的链式求导法则

     下面我们再来看看标量对多个矩阵的链式求导法则，假设有这样的依赖关系：X→Y→z那么我们有：

       

      机器学习常用矩阵求导：

      

 

devil_son1234
关注
机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则
wenyusuran的专栏
07-30 2678
　　在机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法中，我们讨论了使用微分法来求解矩阵向量求导的方法。但是很多时候，求导的自变量和因变量直接有复杂的多层链式求导的关系，此时微分法使用起来也有些麻烦。需要一些简洁的方法。 　　　　本文我们讨论矩阵向量求导链式法则，使用该法则很多时候可以帮我们快速求出导数结果。 　　　　本文的标量对向量的求导，标量对矩阵的求导使用分母布局， 向量对向量的求导...
矩阵求导（本质、原理与推导）详解
热门推荐
weixin_60737527的博客
03-29 2万+
矩阵求导详解
神经网络之链式法则
最新发布
无风听海
10-15 889
链式法则是微积分中用于处理复合函数求导的基本规则。
机器学习中的矩阵向量求导 - 矩阵向量求导链式法则
weixin_46720804的博客
07-14 1112
本文我们讨论矩阵向量求导链式法则，使用该法则很多时候可以帮我们快速求出导数结果。 本文的标量对向量的求导，标量对矩阵的求导使用分母布局， 向量对向量的求导使用分子布局。如果遇到其他资料求导结果不同，请先确认布局是否一样。 1. 向量对向量求导的链式法则 首先我们来看看向量对向量求导的链式法则。假设多个向量存在依赖关系，比如三个向量x→y→z存在依赖关系，则我们有下面的链式求导法则： ∂z∂x=∂z∂y∂y∂x 　　　　该法则也可以推广到更多的向量依赖关系。但是要注意的是要求所有有依赖关系的变量都是向量，如果
矩阵求导链式法则学习
星月野的博客
02-01 1万+
矩阵求导计算公式 前要：变量多次出现的求导法则：若某个变量在函数表达式中多次出现，可以单独计算函数对自变量的每一次出现的导数，再把结果加起来。用计算图来描述本条法则，就是：若变量x有多条影响函数f的值的路径，则计算时需要对每条路径经求导再加和。 例：，可以先把三个x看做三个不同的变量，即,然后分别求导得,,,最后再把这三项加起来，并抹掉下标可以得到。 变量多次出现的求导法则，在自动编码器（a...
矩阵向量链式法则四_机器学习
4AM_明朝百晓生
07-22 1000
前言 参考文档 https://www.cnblogs.com/pinard/p/10825264.html 目录： 向量对向量的链式求导 标量对向量的链式求导 标量对多个矩阵链式求导 一 向量对向量的链式求导 这里默认为分子布局，雅克比矩阵 假设 其中 向量 向量 向量 则下面...
矩阵向量求导知识体系
01-29
"矩阵向量求导链式法则"是另一个关键点。在复杂的函数组合中，链式法则允许我们将求导过程分解为各个部分的求导，然后将结果串联起来。这对于处理包含多个层次的神经网络尤其重要，因为每一层的权重矩阵和输入向量都...
矩阵求导常用公式解析：标量、向量与矩阵的导数计算
qq_36892712的博客
05-03 1542
矩阵求导是机器学习、优化理论中的重要数学工具。本文将系统推导标量对向量、向量对向量、标量对矩阵的求导公式，并解析分子布局与分母布局的核心差异。场景：计算 ∂z∂x\frac{\partial \mathbf{z}}{\partial \mathbf{x}}∂x∂z​，其中 z=Wx+b\mathbf{z} = \mathbf{W}\mathbf{x} + \mathbf{b}z=Wx+b分子布局： ∂z∂x=W(维度 m×n) \frac{\partial \mathbf{z}}{\partial \mat
小白都能理解的矩阵与向量求导链式法则
bitcarmanlee的博客
04-21 1万+
0.前言 深度学习中最常见的是各种向量还有矩阵运算，经常会涉及到求导操作。因此准确理解向量矩阵的求导操作就显得非常重要，对我们推导计算过程以及代码书写核对有非常大的帮助。 神经网络中最常见的操作为向量，矩阵乘法，在求导的时候经常需要用到链式法则，链式法则在计算过程中会稍微麻烦，下面我们来详细推导一下，推导过程全程简单明了，稍微有点数学基础的同学都能看明白。 1.标量对标量的链式求导 假设x, y,...
矩阵求导的链式法则
活在世界上的百分之八的博客
02-03 1095
矩阵求导术（四）— 链式求导法则
qq_51888367的博客
10-24 1056
转载自博客园https://www.cnblogs.com/WMT-Azura/p/13705655.html
矩阵求导链式法则
zj
07-05 1470
参考：机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则，系列有四篇，推导过程暂时还没有搞懂。
矩阵求导
攻城狮凌风
12-28 1052
复杂矩阵问题求导方法：可以从小到大，从scalar到vector再到matrix。  x is a column vector, A is a matrix $d(A*x)/dx=A$             $d(x^T*A)/dx^T=A$    $d(x^T*A)/dx=A^T$     $d(x^T*A*x)/dx=x^T(A^T+A)$
矩阵求导及其链式法则
03-08 1115
原文地址，转载如下 讲的还比较清楚。
矩阵对矩阵求导，标量对矩阵求导，链式法则
防搞活机的博客
12-10 1127
矩阵
矩阵求导法则
u014096903的博客
03-14 949
某乎有总结的很好的矩阵求导法则叫“矩阵求导术”：https://zhuanlan.zhihu.com/p/24709748https://zhuanlan.zhihu.com/p/24863977迹技巧(trace trick)：标量套上迹：转置：。线性：。矩阵乘法交换：，其中与尺寸相同。两侧都等于。矩阵乘法/逐元素乘法交换：，其中尺寸相同。两侧都等于。...
求偏导链式法则
07-10
链式法则是微积分中非常重要的一个法则，尤其在多变量函数和神经网络的反向传播中起着核心作用。 --- ## ✅ 偏导数与链式法则简介 ### 1. **什么是偏导数？** 对于多元函数 $ z = f(x, y) $，当我们固定其他变量时，对其中一个变量求导，称为**偏导数**： - 对 $ x $ 的偏导：$ \frac{\partial z}{\partial x} $ - 对 $ y $ 的偏导：$ \frac{\partial z}{\partial y} $ --- ## ✅ 链式法则（Chain Rule）——偏导数版本 ### 情况一：单变量嵌套函数 设： - $ z = f(u) $ - $ u = g(x) $ 则： $$ \frac{dz}{dx} = \frac{df}{du} \cdot \frac{du}{dx} $$ 这是普通链式法则。 --- ### 情况二：多变量复合函数（偏导数链式法则） #### 示例 1：两个中间变量 设： - $ z = f(u, v) $ - $ u = g(x, y) $ - $ v = h(x, y) $ 那么，$ z $ 是关于 $ x $ 和 $ y $ 的复合函数。 对 $ x $ 的偏导为： $$ \frac{\partial z}{\partial x} = \frac{\partial f}{\partial u} \cdot \frac{\partial u}{\partial x} + \frac{\partial f}{\partial v} \cdot \frac{\partial v}{\partial x} $$ 同理，对 $ y $ 的偏导为： $$ \frac{\partial z}{\partial y} = \frac{\partial f}{\partial u} \cdot \frac{\partial u}{\partial y} + \frac{\partial f}{\partial v} \cdot \frac{\partial v}{\partial y} $$ --- ### 示例 2：三个变量嵌套 设： - $ z = f(u) $ - $ u = g(v) $ - $ v = h(x, y) $ 则： $$ \frac{\partial z}{\partial x} = \frac{df}{du} \cdot \frac{dg}{dv} \cdot \frac{\partial h}{\partial x} $$ 这是一个典型的“链式”结构。 --- ## 🧠 理解链式法则的图形化表示 你可以将链式法则想象成从输出到输入的路径，每条路径对应一项乘积，所有路径之和就是最终的偏导数。 例如： ``` z ↑ f(u, v) ↑ ↑ u=g(x,y) v=h(x,y) ↑ ↑ x y ``` 要计算 $ \frac{\partial z}{\partial x} $，你只需要沿着所有从 $ z $ 到 $ x $ 的路径，把每个环节的导数相乘，然后加起来即可。 --- ## 📌 示例详解 ### 例题：设 $ z = u^2 + v $，其中 $ u = x + y $，$ v = xy $ 求：$ \frac{\partial z}{\partial x} $ --- ### 步骤 1：写出偏导关系 - $ \frac{\partial z}{\partial u} = 2u $ - $ \frac{\partial z}{\partial v} = 1 $ - $ \frac{\partial u}{\partial x} = 1 $ - $ \frac{\partial v}{\partial x} = y $ --- ### 步骤 2：应用链式法则 $$ \frac{\partial z}{\partial x} = \frac{\partial z}{\partial u} \cdot \frac{\partial u}{\partial x} + \frac{\partial z}{\partial v} \cdot \frac{\partial v}{\partial x} = 2u \cdot 1 + 1 \cdot y = 2(x + y) + y = 2x + 3y $$ --- ## ✅ 编程实现（Python + sympy 符号计算） ```python from sympy import symbols, diff # 定义符号变量 x, y = symbols('x y') u = x + y v = x * y z = u**2 + v # 计算偏导 dz_dx = diff(z, x) print("∂z/∂x =", dz_dx) ``` 输出： ``` ∂z/∂x = 2*x + 2*y + y → 即：2x + 3y ``` --- ## ✅ 总结公式 | 类型 | 表达式 | |------|--------| | 一般形式 | $ \frac{\partial z}{\partial x} = \sum_{i} \frac{\partial z}{\partial u_i} \cdot \frac{\partial u_i}{\partial x} $ | | 双变量链式法则 | $ \frac{\partial z}{\partial x} = \frac{\partial f}{\partial u} \cdot \frac{\partial u}{\partial x} + \frac{\partial f}{\partial v} \cdot \frac{\partial v}{\partial x} $ | ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值