一个F范数对矩阵求导例子【2】

问题： 对于$\ell (W)=f(W)=\Vert \ln (XW\odot D){\Vert }_F^2$, 其导数是多少呢？

---

1、解法一

大佬直接帮忙给了计算步骤。从结果上看，矩阵的运算维度这些是对的。

但是第2行怎么来的我没有看懂。于是又请教大佬了，给出了计算的核心是：

$用fro范数的定义：\Vert X{\Vert }_F^2=tr(X^{T}X)，得到d\Vert X{\Vert }_F^2=2tr(X^{T}dX)。我漏写个系数2。$

我试着推算了下，但是没有完全推出来：

$$\begin{array}{r}\begin{array}{rl}d\Vert X{\Vert }_F^2& =dtr(X^{T}X)\\ & =tr[d(X^{T}X)]\\ & =tr[d(X^T)X+X^{T}dX]\\ & =tr[d(X^T)X]+tr[X^{T}dX]\\ & =tr[Xd(X^T)]+tr[X^{T}dX]\end{array}\end{array}$$
对比大佬的结果是 $2tr(X^{T}dX)$, 则我的推算中应该存在如下等式：
$$\begin{array}{r}\begin{array}{r}tr[Xd{X}^T]=tr(X^{T}dX)\end{array}\end{array}$$

但我没找到直接的相关依据，然后经大佬再次答疑，回复如下：

$交换矩阵顺序以及取转置，都不改变tr。故有tr(Xd{X}^T)=tr(X^{T}dX)，都表示X和dX的内积，展开来写是{\sum }_{i,j}{X}_{i,j}d{X}_{i,j}。$

直接当结论记住吧。

再次感谢大佬的耐心答疑！膜拜！

2、解法二

令$S=\ln (XW\odot D),\Psi =(XW\odot D){.}^{-1}$
则 $$\begin{array}{r}\begin{array}{r}\frac{\partial f}{\partial S}=2S=2(\ln (XW\odot D))\end{array}\end{array}$$

$$\begin{array}{r}\begin{array}{rl}df& =tr[(\frac{\partial f}{\partial S}{)}^{T}dS]\\ & =tr[(\frac{\partial f}{\partial S}{)}^{T}d(\ln (XW\odot D))]\\ & =tr[(\frac{\partial f}{\partial S}{)}^T(XW\odot D){.}^{-1}d(XW\odot D)]\\ & =tr[(\frac{\partial f}{\partial S}{)}^T\Psi d(XW\odot D)]\\ & =tr[({\Psi }^T\frac{\partial f}{\partial S}{)}^{T}d(XW\odot D)]\\ & =tr[({\Psi }^T\frac{\partial f}{\partial S}\odot D{)}^{T}d(XW)]\\ & =tr[({\Psi }^T\frac{\partial f}{\partial S}\odot D{)}^{T}XdW]\\ & =tr[(X^T({\Psi }^T\frac{\partial f}{\partial S}\odot D){)}^{T}dW]\end{array}\end{array}$$
所以

$$\begin{array}{r}\begin{array}{rl}\frac{d\ell (\mathbf{W})}{d\mathbf{W}}& =\frac{df(\mathbf{W})}{d\mathbf{W}}\\ & =X^T({\Psi }^T\frac{\partial f}{\partial S}\odot D)\\ & =2X^T[\{(XW\odot D){.}^{-1}{\}}^T\ln (XW\odot D)\odot D]\end{array}\end{array}$$

和大佬的结果对比，不仅在形式上差别很大，而且矩阵的维度层面根本没法运算。

大佬回复如下：

推导有一处错误：逐元素函数微分那一项，中间是逐元素乘法，
而不是矩阵乘法，即d ln(XW⊙D) = (XW⊙D).^{-1} ⊙ d(XW⊙D)。其他步骤都正确。

重新推算：
df=tr[(∂f∂S)TdS]=tr[(∂f∂S)Td(ln⁡(XW⊙D))]=tr[(∂f∂S)T{(XW⊙D).−1⊙d(XW⊙D)}]=tr[(∂f∂S)T{Ψ⊙d(XW⊙D)}]=tr[(∂f∂S⊙Ψ)Td(XW⊙D)]=tr[(∂f∂S⊙Ψ)Td(D⊙XW)]=tr[(∂f∂S⊙Ψ)T(D⊙d(XW))]=tr[(∂f∂S⊙Ψ⊙D)Td(XW)]=tr[(∂f∂S⊙Ψ⊙D)TXdW]=tr[(XT(∂f∂S⊙Ψ⊙D))TXdW] \begin{align} \begin{split} df&=tr[(\frac{\partial{f}}{\partial{S}})^TdS] \\ &=tr[(\frac{\partial{f}}{\partial{S}})^Td(\ln (XW \odot D))] \\ &=tr[(\frac{\partial{f}}{\partial{S}})^T \{(XW \odot D).^{-1} \odot d (XW \odot D)\} ] \\ &=tr[(\frac{\partial{f}}{\partial{S}})^T \{ \Psi \odot d (XW \odot D)\} ] \\ &=tr[(\frac{\partial{f}}{\partial{S}} \odot \Psi)^T d (XW \odot D) ] \\ &=tr[(\frac{\partial{f}}{\partial{S}} \odot \Psi)^T d (D \odot XW ) ] \\ &=tr[(\frac{\partial{f}}{\partial{S}} \odot \Psi)^T (D \odot d (XW) ) ] \\ &=tr[(\frac{\partial{f}}{\partial{S}} \odot \Psi \odot D)^T d (XW) ] \\ &=tr[(\frac{\partial{f}}{\partial{S}} \odot \Psi \odot D)^T Xd W ] \\ &=tr[(X^T(\frac{\partial{f}}{\partial{S}} \odot \Psi \odot D))^T Xd W ] \\ \end{split} \end{align} df​=tr[(∂S∂f​)TdS]=tr[(∂S∂f​)Td(ln(XW⊙D))]=tr[(∂S∂f​)T{(XW⊙D).−1⊙d(XW⊙D)}]=tr[(∂S∂f​)T{Ψ⊙d(XW⊙D)}]=tr[(∂S∂f​⊙Ψ)Td(XW⊙D)]=tr[(∂S∂f​⊙Ψ)Td(D⊙XW)]=tr[(∂S∂f​⊙Ψ)T(D⊙d(XW))]=tr[(∂S∂f​⊙Ψ⊙D)Td(XW)]=tr[(∂S∂f​⊙Ψ⊙D)TXdW]=tr[(XT(∂S∂f​⊙Ψ⊙D))TXdW]​​​

所以
$$\begin{array}{r}\begin{array}{rl}\frac{d\ell (\mathbf{W})}{d\mathbf{W}}& =\frac{df(\mathbf{W})}{d\mathbf{W}}\\ & =X^T(\frac{\partial f}{\partial S}\odot \Psi \odot D)\\ & =2X^T[\ln (XW\odot D)\odot (XW\odot D){.}^{-1}\odot D]\end{array}\end{array}$$

终于和大佬的结果一致了，感谢！