机器学习中的矩阵向量求导(五) 矩阵对矩阵的求导

在矩阵向量求导前4篇文章中，我们主要讨论了标量对向量矩阵的求导，以及向量对向量的求导。本文我们就讨论下之前没有涉及到的矩阵对矩阵的求导，还有矩阵对向量，向量对矩阵求导这几种形式的求导方法。

本文所有求导布局以分母布局为准，为了适配矩阵对矩阵的求导，本文向量对向量的求导也以分母布局为准，这和前面的文章不同，需要注意。

篇主要参考了张贤达的《矩阵分析与应用》和长躯鬼侠的矩阵求导术

1. 矩阵对矩阵求导的定义

假设我们有一个$p\times q$的矩阵$F$要对$m\times n$的矩阵$X$求导，那么根据我们第一篇求导的定义，矩阵$F$中的pq个值要对矩阵$X$中的mn个值分别求导，那么求导的结果一共会有mnpq个。那么求导的结果如何排列呢？方法有很多种。

最直观可以想到的求导定义有2种：

第一种是矩阵$F$对矩阵$X$中的每个值$X_{ij}$求导，这样对于矩阵$X$每一个位置(i,j)求导得到的结果是一个矩阵$\frac{\partial F}{\partial X_{ij}}$,可以理解为矩阵X的每个位置都被替换成一个$p\times q$的矩阵，最后我们得到了一个$mp\times nq$的矩阵。

第二种和第一种类似，可以看做矩阵$F$中的每个值$F_{kl}$分别对矩阵$X$求导，这样矩阵$F$每一个位置(k,l)对矩阵$X$求导得到的结果是一个矩阵$\frac{\partial F_{kl}}{\partial X}$, 可以理解为矩阵F的每个位置都被替换成一个$m\times n$的矩阵，最后我们得到了一个$mp\times nq$的矩阵。

这两种定义虽然没有什么问题，但是很难用于实际的求导，比如类似我们在机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法中很方便使用的微分法求导。

目前主流的矩阵对矩阵求导定义是对矩阵先做向量化，然后再使用向量对向量的求导。而这里的向量化一般是使用列向量化。也就是说，现在我们的矩阵对矩阵求导可以表示为：
$$\frac{\partial F}{\partial X}=\frac{\partial vec(F)}{\partial vec(X)}$$
对于矩阵$F$，列向量化后，vec($F$)的维度是$pq\times 1$的向量，同样的，vec(