矩阵微分

最新推荐文章于 2024-06-05 18:39:33 发布

weixin_43164989

最新推荐文章于 2024-06-05 18:39:33 发布

阅读量328

点赞数

CC 4.0 BY-SA版权

文章标签：矩阵

本文链接：https://blog.youkuaiyun.com/weixin_43164989/article/details/92479301

这篇博客详细介绍了矩阵微分的相关知识，包括标准梯度公式、矩阵迹的性质和矩阵微分的多个重要性质，并通过证明解释了如何求解矩阵函数的导数。重点探讨了自变量为标量、向量和矩阵时的微分形式，以及如何利用矩阵微分解决实际问题。

矩阵微分（一）

标准梯度公式

自变量是标量

$\lim _{t\to 0} \frac {f(x+t)-f(x)}{t}$

自变量是向量

$D_{\textbf {w}}f(\textbf {x}) = \lim _{t\to 0} \frac {f(\textbf {x} + t\textbf {w}) - f(\textbf {x})}{t}$

自变量是矩阵

$D_{\textbf {W}}f(\textbf {X}) = \lim _{t\to 0} \frac {f(\textbf {X}+t\textbf {W})-f(\textbf {X})}{t}$

矩阵迹的性质

性质1

$tr(A) = tr(A^{T})$

性质2

$t r (A B) = t r (B A)$

$t r (A B C D) = t r (D A B C) = t r (C D A B) = t r (B C D A)$

性质3

$t r (A + B) = t r (A) + t r (B)$

性质4

$tr(\alpha A) = \alpha tr(A)$

性质5

设有矩阵H、U，H和U都是n x m的矩阵，则有：

$\sum _{j=1}^{m} \sum _{i=1}^{n}(h_{ij}u_{ij}) = \sum _{j=1}^{m} \sum _{i=1}^{n}((h^{T})_{ji}u_{ij}) = tr(H^{T}U)$

矩阵微分的性质

设有关于矩阵A的一个函数f，记为f(A)，f(A)关于A的导数为：

$\nabla _{A}f(A) = \frac { \partial f(A) }{ \partial A } = \left[ \begin{matrix} \frac {\partial f }{\partial A_{11}}&\frac {\partial f }{\partial A_{12}}&\cdots &\frac {\partial f }{\partial A_{1n}}\\ \frac {\partial f }{\partial A_{21}}&\frac {\partial f }{\partial A_{22}}&\cdots &\frac {\partial f }{\partial A_{2n}}\\ \vdots &\vdots &\ddots &\vdots \\ \frac {\partial f }{\partial A_{m1}}&\frac {\partial f }{\partial A_{m2}}&\cdots &\frac {\partial f }{\partial A_{mn}}\\ \end{matrix} \right]$

性质1

$\nabla _{ A^{T} }f(A) = (\nabla _{A}f(A))^{T}$

证明

$\nabla _{ A^{T} }f(A) = \left[ \begin{matrix} \frac {\partial f }{\partial A_{11}}&\frac {\partial f }{\partial A_{21}}&\cdots &\frac {\partial f }{\partial A_{m1}}\\ \frac {\partial f }{\partial A_{12}}&\frac {\partial f }{\partial A_{22}}&\cdots &\frac {\partial f }{\partial A_{m2}}\\ \vdots &\vdots &\ddots &\vdots \\ \frac {\partial f }{\partial A_{1n}}&\frac {\partial f }{\partial A_{2n}}&\cdots &\frac {\partial f }{\partial A_{mn}}\\ \end{matrix} \right] = \left[ \begin{matrix} \frac {\partial f }{\partial A_{11}}&\frac {\partial f }{\partial A_{12}}&\cdots &\frac {\partial f }{\partial A_{1n}}\\ \frac {\partial f }{\partial A_{21}}&\frac {\partial f }{\partial A_{22}}&\cdots &\frac {\partial f }{\partial A_{2n}}\\ \vdots &\vdots &\ddots &\vdots \\ \frac {\partial f }{\partial A_{m1}}&\frac {\partial f }{\partial A_{m2}}&\cdots &\frac {\partial f }{\partial A_{mn}}\\ \end{matrix} \right]^{T} = (\frac { \partial f(A) }{ \partial A })^{T} = (\nabla _{A}f(A))^{T}$

性质2

假设存在矩阵U，使得下面的等式成立：

$D_{\textbf {W}}f(\textbf {X}) = \lim _{t\to 0} \frac {f(\textbf {X}+t\textbf {W})-f(\textbf {X})}{t} = tr(W^{T}U)$

当f(X)是一个tr运算的时候可能成立

那么，对W中任意一个Wij求导，则有：

$D_{W_{ij}}f(\textbf {X}) = tr(W_{ij}^{T}U) = \sum _{j=1}^{} \sum _{i=1}^{}(w_{ij}u_{ij}) = u_{ij}$

对W矩阵的局部单个元素求导，其实按偏导数的概念理解即可，既然是偏导数，这就意味着除了存在w_{ij}的那一项之外的其他元素都被当做常数，而对常数求导必然等于0，所以最后会得到唯一的u_{ij}。

对局部的Wij求导会得到Uij，那么分别对所有Wij求导，并把各个求导结果再组成一个矩阵，就是U矩阵了。又因为W代表任意矩阵，所以f(X)关于X的导数等于U：
$\frac { \partial f(\textbf {X}) }{ \partial X } = \textbf {U}$

这个式子的意义在于，当题目是“给你一个自变量是矩阵X的函数f(X),求它关于X的导数”时，可以把问题立即转变成求U，而U的求解，可以通过上面的标准导数公式来求。小结一下步骤：

$计算lim⁡t→0f(X+tW)−f(X)t，并化简，直到得到一个形如tr(WTQ)的式子计算\lim _{t\to 0} \frac {f(\textbf {X}+t\textbf {W})-f(\textbf {X})}{t}，并化简，直到得到一个形如 tr(W^{T}Q)的式子$
$根据∂f(X)∂X=U可以得到tr(WTQ)=tr(WTU)，于是就得到了∂f(X)∂X=U=Q。根据\frac { \partial f(\textbf {X}) }{ \partial X } = \textbf {U}可以得到 tr(W^{T}Q)=tr(W^{T}U)，于是就得到了\frac { \partial f(\textbf {X}) }{ \partial X } = U = Q。$

性质3

$\frac { \partial tr(AX) }{ \partial X } = A^{T}$

证明

设：
$f (X) = t r (A X)$
$了：\frac { \partial tr(AX) }{ \partial X }$
$D_{\textbf {W}}f(\textbf {X}) = \lim _{t\to 0} \frac {f(\textbf {X}+t\textbf {W})-f(\textbf {X})}{t}$