机器学习中的矩阵向量求导(五) 矩阵对矩阵的求导

　在矩阵向量求导前4篇文章中，我们主要讨论了标量对向量矩阵的求导，以及向量对向量的求导。本文我们就讨论下之前没有涉及到的矩阵对矩阵的求导，还有矩阵对向量，向量对矩阵求导这几种形式的求导方法。

　　　　本文所有求导布局以分母布局为准，为了适配矩阵对矩阵的求导，本文向量对向量的求导也以分母布局为准，这和前面的文章不同，需要注意。

　　　　本篇主要参考了张贤达的《矩阵分析与应用》和长躯鬼侠的矩阵求导术

1. 矩阵对矩阵求导的定义

　　　　假设我们有一个p×qp×q的矩阵FF要对m×nm×n的矩阵XX求导，那么根据我们第一篇求导的定义，矩阵FF中的pqpq个值要对矩阵XX中的mnmn个值分别求导，那么求导的结果一共会有mnpqmnpq个。那么求导的结果如何排列呢？方法有很多种。

　　　　最直观可以想到的求导定义有2种：

　　　　第一种是矩阵FF对矩阵XX中的每个值XijXij求导，这样对于矩阵XX每一个位置(i,j)求导得到的结果是一个矩阵∂F∂Xij∂F∂Xij,可以理解为矩阵XX的每个位置都被替换成一个p×qp×q的矩阵，最后我们得到了一个mp×nqmp×nq的矩阵。