2021-10-16

引言

不得不说在机器学习、深度学习这个方向没有很成体系的教材，要么如同西瓜书一样给人一种云里雾里的感觉，要么如同XXX入门人工智能一样鸡肋的教材，不是每个人都能有周老师要求的学生的数学水平，但也不是普通大学的同学就没必要理解公式推导，做个调包侠就够了。

矩阵微分的作用

矩阵分析这门课的难度就不用多说了，但实际上对于使用机器学习、深度学习解决具体问题的人来说，没有必要把整个矩阵分析搞懂，大cs的搞研究多数情况也不需要,上来就是严老，受的了吗，当然你要是读博或者搞矩阵的当我没说实际上是有两篇文献关于ml中常用的矩阵求导常用的部分做了很好的总结，但无可奈何，英文的（Old and New Matrix Algebra Useful for Statistics ，The Matrix Cookbook）。言归正传，矩阵微分只有一个目的，解决含有矩阵的函数的求导问题。

矩阵微分的意义

定义法求偏导写的东西太多容易出错。

标量对向量的微分

首先定义基本形式
$$\mathrm{d}y={\frac{\partial f}{\partial \text{x}}}^T\mathrm{d}\text{x}$$
定义一些基本运算
$$\begin{gathered} \mathrm{d}（X+Y）=\mathrm{d}(X)+\mathrm{d}(Y) \\ \mathrm{d}(XY)=\mathrm{d}(X)Y+Xd(Y) \\ \mathrm{d}(X^T)={\mathrm{d}(X)}^T \\ \mathrm{d}tr(X)=tr\mathrm{d}(X) \\ \mathrm{d}{X}^{-1}=-X^{-1}\mathrm{d}X{X}^{-1} \\ \mathrm{d}|X|=tr(X^{\ast }\mathrm{d}X)=|X|tr(X^{-1}\mathrm{d}X)(X可逆) \\ \mathrm{d}(X\odot Y)=\mathrm{d}X\odot Y+X\odot \mathrm{d}Y \\ a=tr(a) \\ tr(A^T)=tr(A) \\ tr(A+B)=tr(A)+tr(B) \\ tr(AB)=tr(BA)(A与B尺寸相同) \\ tr(A^T(B\odot C))=tr((A\odot B{)}^{T}C)(A,B,C尺寸相同) \end{gathered}$$
x为列向量 （实际无所谓） f为标量，换一句话说，对于给定的式子只要表示为上述形式就可以求得f对x的偏导，上例子。
$$\begin{gathered} y={\text{x}}^{T}a \\ \mathrm{d}y=\mathrm{d}{\text{x}}^{T}a \\ \mathrm{d}y=a^T\mathrm{d}\text{x} \\ \frac{\partial f}{\partial \text{x}}=a^T \\ \frac{\partial f}{\partial {\text{x}}^T}=a \end{gathered}$$
许多人上来就被分母形式，分子形式搞混了，实际上只需要记住一句话。
去他妈的布局标量对向量，向量对标量，无需在意，你只需要把式子变形为上述微分形式，至于形状交给其他项就好，只要是标量对向量求导，无论分子布局分母布局，他们只差一个转置。

标量对矩阵求导

首先来定义一个基本形式
$$\mathrm{d}f=tr({\frac{\partial f}{\partial X}}^T\mathrm{d}X)$$
再来一个例子真的折磨以后练习题直接穿手写版
运用迹交换就好了，注意别套用标量的链式法则就好。