机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则

本文详细介绍了矩阵向量求导的链式法则,包括向量对向量、标量对多个向量以及标量对多个矩阵的求导。通过这些法则,可以更高效地解决机器学习中的优化问题,例如最小二乘法的求导。文章还给出了常见的矩阵向量求导应用场景,如线性变换中的链式求导公式。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  在机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法中,我们讨论了使用微分法来求解矩阵向量求导的方法。但是很多时候,求导的自变量和因变量直接有复杂的多层链式求导的关系,此时微分法使用起来也有些麻烦。需要一些简洁的方法。

    本文我们讨论矩阵向量求导链式法则,使用该法则很多时候可以帮我们快速求出导数结果。

    本文的标量对向量的求导,标量对矩阵的求导使用分母布局, 向量对向量的求导使用分子布局。如果遇到其他资料求导结果不同,请先确认布局是否一样。

1. 向量对向量求导的链式法则

    首先我们来看看向量对向量求导的链式法则。假设多个向量存在依赖关系,比如三个向量x→y→zx→y→z存在依赖关系,则我们有下面的链式求导法则:

∂z∂x=∂z∂y∂y∂x∂z∂x=∂z∂y∂y∂x

    该法则也可以推广到更多的向量依赖关系。但是要注意的是要求所有有依赖关系的变量都是向量,如果有一个YY是矩阵,,比如是x→Y→zx→Y→z, 则上式并不成立。

    从矩阵维度相容的角度也很容易理解上面的链式法则,假设x,y,zx,y,z分别是m,n.pm,n.p维向

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文宇肃然

精神和物质鼓励你选一个吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值