矩阵求导公式

最新推荐文章于 2022-08-15 19:11:50 发布
原创 最新推荐文章于 2022-08-15 19:11:50 发布 · 667 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#线性代数 #机器学习 #凸函数

本文介绍了矩阵求导中的分子布局和分母布局，以及混合布局的应用。重点讲解了向量对向量、标量对向量、向量对标量的求导规则，并提到了向量对向量求导的雅克比矩阵与梯度矩阵概念。

矩阵求导公式

为了解决矩阵向量求导的结果不唯一，我们引入求导布局。最基本的求导布局有两个：分子布局(numerator layout)和分母布局(denominator layout )。对于分子布局来说，我们求导结果的维度以分子为主，比如对于我们上面对标量求导的例子，结果的维度和分子的维度是一致的。对于分母布局来说，我们求导结果的维度以分母为主。

但是一般来说我们会使用一种叫混合布局的思路，即如果是向量或者矩阵对标量求导，则使用分子布局为准，如果是标量对向量或者矩阵求导，则以分母布局为准。对于向量对对向量求导有些分歧，按分子布局的向量对向量求导的结果矩阵，我们一般叫做雅克比 (Jacobian)矩阵。按分母布局的向量对向量求导的结果矩阵，我们一般叫做梯度矩阵。

1、向量对向量求导

在这里插入图片描述

2、标量对向量求导

在这里插入图片描述

3、向量对标量求导

在这里插入图片描述

最低0.47元/天 解锁文章
Cookeee
关注
矩阵求导公式的数学推导（矩阵求导——基础篇）
nyist_yangguang的博客
12-09 3147
https://zhuanlan.zhihu.com/p/273729929
矩阵求导公式记录
越努力，越幸运！
02-17 824
分子布局与分母布局 谁是列向量就是什么布局。分母是列向量，就是分母布局；分子是列向量，就是分子布局。 (分母布局的结果) T=^{T}=T= 分了布局的结果; (分子布局的结果) T=^{T}=T= 分母布局的结果； 具体公式： 更多公式见维基百科 ...
矩阵求导公式简洁总结与应用
最新发布
08-10
以下是矩阵求导公式的梳理： 矩阵对单个变量的导数：当矩阵 Y 的元素依赖于标量 x 时，对每个元素求导后转置，得到的导数矩阵维度为 N×M（原矩阵为 M×N）。例如，矩阵 Y=[y ij ]，其导数矩阵为 dx dY =[ dx dy ji...
常用矩阵求导公式，逆矩阵求导
李宏宗的博客
02-24 3507
∂βx∂x=β\frac{\partial \beta \mathbf{x}}{\partial \mathbf{x}}=\beta∂x∂βx​=β ∂xTx∂x=2x\frac{\partial \mathbf{x}^T\mathbf{x}}{\partial \mathbf{x}}=2\mathbf{x}∂x∂xTx​=2x ∂xTAx∂x=(A+AT)x\frac{\partial \mathbf{x}^TA\mathbf{x}}{\partial \mathbf{x}}=(A+A^T)\mathbf
矩阵求导(分母布局与分子布局)，以及常用的矩阵求导公式
Rolandxxx的博客
08-15 721
1.用好维度分析，不要直接求导。2.用好链式法则，不要一步到位。
矩阵求导
何瑞龙的专栏
10-10 622
基本公式： Y = A * X --> DY/DX = A' Y = X * A --> DY/DX = A Y = A' * X * B --> DY/DX = A * B' Y = A' * X' * B --> DY/DX = B * A' 1. 矩阵Y对标量x求导： 相当于每个元素求导数后转置一下，注意M×N矩阵求导后变成N×M了 Y = [y(ij)] --> dY/
矩阵求导、几种重要的矩阵及常用的矩阵求导公式
热门推荐
青萍之末的博客
06-08 37万+
一、矩阵求导   一般来讲，我们约定x=(x1,x2,...xN)Tx=(x1,x2,...xN)Tx=(x_1,x_2,...x_N)^T，这是分母布局。常见的矩阵求导方式有：向量对向量求导，标量对向量求导，向量对标量求导。 1、向量对向量求导 2、标量对向量求导 3、向量对标量求导 其他的可以参考wiki：维基百科矩阵求导公式 二、几种重要的矩阵 1、梯度（Gr...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值