一个F范数对矩阵求导例子 1

lgl123ok

已于 2024-08-23 14:41:26 修改

阅读量4.4k

点赞数 3

分类专栏：数学文章标签：矩阵线性代数 matlab

于 2021-12-09 15:42:24 首次发布

本文链接：https://blog.youkuaiyun.com/lgl123ok/article/details/121823906

版权

数学专栏收录该内容

10 篇文章

订阅专栏

本文介绍了如何通过矩阵求导技术求解含有未知参数W的函数最小化问题，包括Hadamard积的应用和关键步骤的推导，如f(W)=||XW∘D˘B||²_F的偏导数计算。还涉及了两个具体问题的求解，如||XW-Z||²_F和||Q-W∘A+1/ρΓ1||²_F，以及相关公式和参考资料。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

==PART1 ==

1. 问题

如何求下列表达式中的未知参数W？求偏导？
$\min f(W)=\min_w \|(XW \circ \breve{D})B\|_F^2 \tag{0}$
其中 $\textcolor{red}{只有W是未知参数}$ ，且 $\in R^{n \times m}, W \in R^{m \times c}, \breve{D} \in R^{n \times c}, B \in R^{c \times c}$
同时 $\circ$ 表示 Hadamard积，即矩阵按位乘（matlab的点乘）。

2. 推导过程

令 $\circ \breve{D}$ ,则
$f(W)=\|(XW \circ \breve{D})B\|_F^2 \\ = \|SB\|_F^2 \\ =tr(SBB^TS^T) \tag{1}$
由于有 $\frac{\partial{tr(XBX^T)}}{\partial{X}}=XB^T + XB \tag{2}，$
所以
$\frac{\partial{f}}{\partial{S}}=SBB^T + SBB^T=2SBB^T \tag{3}$
继续求解：
$df=tr[(\frac{\partial{f}}{\partial{S}})^TdS]=tr[(\frac{\partial{f}}{\partial{S}})^Td(XW \circ \breve{D})] \\ =tr[(\frac{\partial{f}}{\partial{S}})^T(d(XW)\circ\breve{D}) ] \\ =tr[(\frac{\partial{f}}{\partial{S}})^T(XdW\circ\breve{D})] \\ =tr[(\frac{\partial{f}}{\partial{S}})^T(\breve{D} \circ XdW)] \\ =tr[(\frac{\partial{f}}{\partial{S}} \circ \breve{D})^TXdW)] \\ =tr[(X^T(\frac{\partial{f}}{\partial{S}} \circ \breve{D}))^TdW] \\$
所以：
$\frac{\partial{f}}{\partial{W}}=X^T(\frac{\partial{f}}{\partial{S}} \circ \breve{D})=X^T[(2SBB^T) \circ \breve{D}] \\ =X^T(2(XW \circ \breve{D})BB^T\circ \breve{D} )$

3. 说明

本篇内容属于标量对矩阵的求导，还有更难的矩阵对矩阵求导
本文内容经矩阵求导术相关内容推导而来，更详细说明请参阅矩阵求导术相关内容 https://blog.youkuaiyun.com/lgl123ok/article/details/120780368
重点公式：

==PART2 ==

问题2： $XW-Z\|_F^2$ 对W求偏导是多少？
答：令 $f(W)=\|XW-Z\|_F^2$ , S=XW-Z
则 $\frac{\partial{f}}{\partial{S}}=2S=2(XW-Z)$

$df=tr[(\frac{\partial{f}}{\partial{S}})^TdS]=tr[(\frac{\partial{f}}{\partial{S}})^Td(XW -Z)] \\ =tr[(\frac{\partial{f}}{\partial{S}})^T(XdW) ] \\ =tr[(X^T\frac{\partial{f}}{\partial{S}})^TdW ] \\$
所以：
$\frac{\partial{f}}{\partial{W}}=X^T\frac{\partial{f}}{\partial{S}} =X^T[2(XW-Z)] \\ =2X^T(XW-Z)$
结论是正确的，参 Multi-label feature selection via manifold regularization and
dependence maximization 的第11式。

==PART3 ==

问题3： $\|Q- W \circ A + \frac{1}{\rho}\Gamma_1\|_F^2$ 对W求偏导是多少？圈是点乘。
答：令 $f(W)=\|Q- W \circ S + \frac{1}{\rho}\Gamma_1\|_F^2$ , $\circ S + \frac{1}{\rho}\Gamma_1$
则 $\frac{\partial{f}}{\partial{S}}=2S=2(Q- W \circ A + \frac{1}{\rho}\Gamma_1)$

$df=tr[(\frac{\partial{f}}{\partial{S}})^TdS]=tr[(\frac{\partial{f}}{\partial{S}})^Td(Q- W \circ A + \frac{1}{\rho}\Gamma_1)] \\ =tr[(\frac{\partial{f}}{\partial{S}})^T(-A \circ dW) ] \\ =tr[(\frac{\partial{f}}{\partial{S}} \circ (-A))^TdW ] \\$
所以：
$\frac{\partial{f}}{\partial{W}}=\frac{\partial{f}}{\partial{S}} \circ (-A) =2(Q- W \circ A + \frac{1}{\rho}\Gamma_1) \circ (-A) \\ =-2(Q- W \circ A + \frac{1}{\rho}\Gamma_1) \circ A$

这个只能适当参考。