深度学习需要的一些基本的数学基础解析

数学基础

总结了深度学习中可能涉及的有关线性代数、微分和概率的基础知识。为避免赘述，本节中的少数定义稍有简化。

1 线性代数

下⾯分别概括了向量、矩阵、运算、范数、特征向量和特征值的概念。

向量

这里的向量指的是列向量。⼀个n维向量x的表达式可写成
$$x=\left[\begin{array}{c}{x}_1\\ x_2\\ ...\\ x_n\end{array}\right],$$
其中x1, . . . , xn是向量的元素。我们将各元素均为实数的n维向量x记作$x\in {\mathbb{R}}^n$或$x\in {\mathbb{R}}^n\times 1$。

$•\mathbb{R}：实数集合$
$•{\mathbb{R}}^n：n维的实数向量集合$
$•{\mathbb{R}}^{x\times y}：x⾏y列的实数矩阵集合$

矩阵

⼀个m⾏n列矩阵的表达式可写成
$$\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1n}\\ x_{21}& x_{22}& \cdots & x_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ x_{m1}& x_{m2}& \cdots & x_{mn}\end{array}\right],$$

其中xij是矩阵X中第i⾏第j列的元素（1 ≤ i ≤ m, 1 ≤ j ≤ n）。我们将各元素均为实数的m⾏n列 矩阵X记作$X\in {\mathbb{R}}^{m\times n}$。不难发现，向量是特殊的矩阵。

矩阵运算

$设n维向量a中的元素为a_1,...,a_n，n维向量b中的元素为b_1,...,b_n。向量a与b的点乘（内积）是⼀个标量：$

$$\begin{array}{rl}a& =b+c\\ & =d+e+f\end{array}$$

$$a\cdot b=a_1{b}_1+...+a_n{b}_n.$$
设两个m⾏n列矩阵
$$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right],$$
$$B=\left[\begin{array}{cccc}{b}_{11}& b_{12}& \cdots & b_{1n}\\ b_{21}& b_{22}& \cdots & b_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ b_{m1}& b_{m2}& \cdots & b_{mn}\end{array}\right].$$
矩阵A的转置是⼀个n⾏m列矩阵，它的每⼀⾏其实是原矩阵的每⼀列：
$$A^T=\left[\begin{array}{cccc}{a}_{11}& a_{21}& \cdots & a_{m1}\\ a_{12}& a_{22}& \cdots & a_{m2}\\ ⋮& ⋮& \ddots & ⋮\\ a_{1n}& a_{2n}& \cdots & a_{mn}\end{array}\right].$$

两个相同形状的矩阵的加法是将两个矩阵按元素做加法：

我们使⽤符号⊙表⽰两个矩阵按元素乘法的运算，即阿达玛（Hadamard）积：
$$A\odot B=[\begin{array}{cc}{a}_{11}{b}_{11}& a_{12}{b}_{12}\\ a_{21}{b}_{21}& a_{22}{b}_{22}\\ ⋮& ⋮\\ a_{m1}{b}_{m1}& a_{m2}{b}_{m2}\end{array}$$