【西瓜书】Chap3-矩阵求导

前提： 若  为向量，则默认  为列向量，  为行向量

一、布局

---

• 分子布局（Numerator layout）：分子为列向量或者分母为行向量
• 分母布局（Denominator layout）：分子为行向量或者分母为列向量

分子布局

• 标量/向量     

           （分母的向量为行向量）

• 向量/标量

             （分子的向量为列向量）

• 向量/向量

            （分子为列向量，分母为行向量）

• 标量/矩阵

        

• 矩阵/标量

        

分母布局

• 标量/向量

              （分母是列向量）

• 向量/标量

            （分子是行向量）

• 向量/向量  

           （分母是列向量，分子是行向量）

• 标量/矩阵

       

分子布局和分母布局的操作结果可以通过转置来切换。

 

二、Identities

---

     最重要的规则是：链式规则、乘积规则、求和规则。

     求和规则是普遍适用的,而乘积规则应用在下面的大部分情况中, 其中矩阵乘积的顺序是有要求的，因为矩阵乘积是不可交换的。链式规则应用在下面的某些情况中，不过可惜的是没有应用在矩阵关于标量的导数和标量关于矩阵的导数中(在后者的情况下，大多数情况都是通过在矩阵上迹操作来完成的). 在后者情况中，乘积规则没法直接使用，不过可以通过使用微分identities来等效的完成。

向量关于向量的identities

      所有的向量关于向量的微分可以直接用在向量关于标量或者标量关于向量的微分上，只要将分母或分子的向量变成标量就行。

      

参考：https://blog.youkuaiyun.com/shouhuxianjian/article/details/46669365