机器学习数学基础

数学基础

符号

$▽$(\bigtriangledown):梯度，是一个矢量，方向指向降落（梯度求增量，故负号表示降落）最快的方向

$△$(\triangle):

梯度

常见函数求导公式

$$\begin{array}{rlrl}& 基本初等函数求导公式& & \\ & (1)(C{)}^{\prime }=0& & (2){\left(x^{\mu }\right)}^{\prime }=\mu x^{\mu -1}\\ & (3)(\sin x{)}^{\prime }=\cos x& & (4)(\cos x{)}^{\prime }=-\sin x\\ & (5)(\tan x{)}^{\prime }={\sec }^{2}x& & (6)(\cot x{)}^{\prime }=-{\csc }^{2}x\\ & (7)(\sec x{)}^{\prime }=\sec x\tan x& & (8)(\csc x{)}^{\prime }=-\csc x\cot x\\ & (9){\left(a^x\right)}^{\prime }=a^x\ln a& & (10){\left({\mathrm{e}}^x\right)}^{\prime }={\mathrm{e}}^x\\ & (11){\left({\log }_{a}x\right)}^{\prime }=\frac{1}{x\ln a}& & (12)(\ln x{)}^{\prime }=\frac{1}{x},\\ & (13)(\arcsin x{)}^{\prime }=\frac{1}{\sqrt{1-x^2}}& & (14)(\arccos x{)}^{\prime }=-\frac{1}{\sqrt{1-x^2}}\\ & (15)(\arctan x{)}^{\prime }=\frac{1}{1+x^2}& & (16)(\mathrm{arccot}x{)}^{\prime }=-\frac{1}{1+x^2}\end{array}$$

基本求导法则

$$\begin{array}{rl}函数& 的和、差、积、商的求导法则\\ 设& u=u(x),v=v(x)都可导,则\\ & (1)(u\pm v{)}^{\prime }=u^{\prime }\pm v^{\prime }\\ & (2)(\mathrm{Cu}{)}^{\prime }=C{u}^{\prime }(C是常数)\\ & (3)(uv{)}^{\prime }=u^{\prime }v+u{v}^{\prime }\\ & (4){\left(\frac{u}{v}\right)}^{\prime }=\frac{u^{\prime }v-u{v}^{\prime }}{v^2}\\ & \\ 反函& 数求导法则\\ 若& 函数x=\phi (y)在某区间I_y内可导、单调且{\phi }^{\prime }(y)\ne 0,\\ 则& 它的反函数y=f(x)在对应区间I_x内也可导,\\ 且& f^{\prime }(x)=\frac{1}{{\phi }^{\prime }(y)}或\frac{dy}{dx}=\frac{1}{\frac{dx}{dy}}\end{array}$$

复合函数求导

$$\begin{array}{rl}& f[g(x){]}^{\prime }=f^{\prime }[g(x)]g^{\prime }(x)\\ & f[g(h(x)){]}^{\prime }=f^{\prime }[g(h(x))]g^{\prime }[h(x)]h^{\prime }(x)\end{array}$$

复合函数求导（链式法则） - 知乎 (zhihu.com)

矩阵求导

一维求导

$$f(x+ϵ)\approx f(x)+f\prime (x)ϵ$$

$$f\left(x-\eta f^{\prime }(x)\right)\approx f(x)-\eta f^{\prime }(x{)}^2$$

$$f\left(x-\eta f^{\prime }(x)\right)\le f(x)$$
所以我们可以得到收敛的计算公式
$$x\leftarrow x-\eta f^{\prime }(x)$$
其中学习率参数设置的不同会产生不同的效果：

实例

其中我们需要对左侧这些散点进行拟合：
$$\begin{array}{rl}loss& =\frac{{\sum }_{i=1}^N(w\ast x_i+b-y_i{)}^2}{N}\\ ▽w^{(k)}& =\frac{\sum 2\ast x_i\ast (w^{(k)}\ast x_i\ast +b^{(k)}-y_i)}{N}\\ ▽b^{(k)}& =\frac{\sum 2\ast (w^{(k)}\ast x_i\ast +b^{(k)}-y_i)}{N}\end{array}$$

多维求导

多维度上的梯度下降：
$${\nabla }_{\mathbf{x}}f(\mathbf{x})={\left[\frac{\partial f(\mathbf{x})}{\partial x_1},\frac{\partial f(\mathbf{x})}{\partial x_2},\dots ,\frac{\partial f(\mathbf{x})}{\partial x_d}\right]}^{\top }$$
$$x\leftarrow x-\eta ▽f(x)$$
其中标量f对于矩阵X的导数：

$$\frac{\partial f}{\partial X}=\left[\frac{\partial f}{\partial X_{ij}}\right]$$

导数与微分的联系

微分是说一个函数在自变量做无穷小变化时函数值的变化。如果我们给定x的变化dx，将它对应到f（x）的变化df，df就等于f的导数乘以dx。但是dx是一个不严谨的概念（无穷小变化是变化多少？），因此严谨的表述是：df是一个把一个数（自变量的变化 delta x）映射成 f’ delta x的映射，映射的值能近似表达函数值的变化delta f。从这个意义上说，df是一个将数轴上的一个矢量（delta x）映射成实数的线性映射，在微分几何中这种映射称为1-form，又叫协变矢量或对偶矢量。

补充：可以形象化理解，微分就是曲线的切线。给定一个横坐标，我们可以在切线上找到纵坐标。df就是这样一个映射。而f的导数就是这条切线的斜率。

一元微积分中的导数(标量对标量的导数)与微分有联系：
$$df=f\prime (x)dx$$
多元微积分中的梯度(标量对向量的导数)也与微分有联系：
$$df=\sum _{i=1}^n\frac{\partial f}{\partial x_i}d{x}_i=(\frac{\partial f}{\partial \mathbf{x}}{)}^{T}d\mathbf{x}$$
上面式子中第一个等号是全微分公式，第二个等号表达了梯度和微分的联系（全微分$df$是梯度向量$\frac{\partial f}{\partial \mathbf{x}}(n\times 1)$与微分向量$d\mathbf{x}(n\times 1)$的内积）

通过上述的一元和多元的微积分启发，我们可以将矩阵导数与微分建立联系:
$$df=\sum _{i=1}^m\sum _{j=1}^n\frac{\partial f}{\partial X_{ij}}d{X}_{ij}=\mathrm{tr}\left((\frac{\partial f}{\partial X}{)}^{T}dX\right)$$

其中tr代表迹(trace)是方阵对角线元素之和，满足性质：
$$相同尺寸矩阵A、B，有tr(A^{T}B)=\sum _{i,j}{A}_{ij}{B}_{ij},即tr(A^{T}B)是矩阵A,B的内积。$$

上述公式中第一个是全微分公式，第二个等号代表了矩阵导数与微分的联系(全微分df是导数 $\frac{\partial f}{\partial X}(m\times n)$ 与微分矩阵$dX(m\times n)$的内积)

矩阵微分常用运算法则

• 加减法

$d(X\pm Y)=dX\pm dY$

• 乘法

$d(XY)=(dX)Y+XdY$

• 转置

$d(X^T)=(dX{)}^T$

• 迹

$dtr(X)=tr(dX)$

• 逐元素乘法

$d(X⨀Y)=dX⨀Y+X⨀dY$
$⨀$表示尺寸相同的矩阵X，Y逐元素相乘

• 逐元素函数

$d\sigma (X)=\sigma \prime (X)⨀dX$

$\sigma (X)=\left[\sigma (X_{ij})\right]$是逐元素标量函数运算
$\sigma \prime (X)=\left[\sigma \prime (X_{ij})\right]$是逐元素标量函数运算
eg:
$$\begin{array}{rl}X& =\left[\begin{array}{cc}{X}_{11}& X_{12}\\ X_{21}& X_{22}\end{array}\right]\\ dsin(X)& =\left[\begin{array}{cc}cos{X}_{11}d{X}_{11}& cos{X}_{12}d{X}_{12}\\ cos{X}_{21}d{X}_{21}& cos{X}_{22}d{X}_{22}\end{array}\right]=cos(X)⨀dX\end{array}$$

矩阵迹的性质

• 标量套上迹

$a=tr(a)$

• 转置

$tr(A^T)=tr(A)$

• 线性

$tr(A\pm B)=tr(A)\pm tr(B)$

• 乘法交换

$tr(AB)=tr(BA)$,其中$A$和$B^T$尺寸相同，两侧都等于${\sum }_{i,j}{A}_{ij}{B}_{ji}$

• 矩阵乘法/逐元素乘法交换

$tr(A^T(B⨀C))=tr((A⨀B{)}^{T}C)$,其中A,B,C尺寸相同，两侧都等于${\sum }_{ij}{A}_{ij}{B}_{ij}{C}_{ij}$

复合

主要解决一类问题：假设已求得$\frac{\partial f}{\partial Y}$，而Y是X的函数，如何求$\frac{\partial f}{\partial X}$呢？

例一

最常见的情况是$Y=AXB$,此时假设已求得$\frac{\partial f}{\partial Y}$,而Y是X的函数，要求$\frac{\partial f}{\partial X}$

$$\begin{array}{rl}df& =\mathrm{tr}\left(\frac{\partial f^T}{\partial Y}dY\right)\\ & =\mathrm{tr}\left({\frac{\partial f^T}{\partial Y}}^{T}AdXB\right)\\ & =\mathrm{tr}\left(B\frac{\partial f^T}{\partial Y}AdX\right)\\ & =\mathrm{tr}\left({\left(A^T\frac{\partial f}{\partial Y}{B}^T\right)}^{T}dX\right)\end{array}$$
可得到
$$\frac{\partial f}{\partial X}=A^T\frac{\partial f}{\partial Y}{B}^T$$
注意这里
$$dY=(dA)XB+AdXB+AXdB=AdXB$$

由于 A, B 是常量， d A=0, d B=0
以及我们使用矩阵乘法交换的迹技巧交换了 $(\frac{\partial f}{\partial Y}{)}^{T}AdX$ 与 $B$ 。

参考

微积分符号列表（ε，y’，d / dx，∫） (rapidtables.org)
(31条消息) 一个F范数对矩阵求导例子_lgl123ok的博客-优快云博客_f范数求导