深度学习——数学与机器学习基础

线性代数

• 标量：一个单独的数
• 向量：一个向量是一列数
• 矩阵：一个矩阵是一个二维数组
• 张量：一个数组中的元素分布在若干维坐标的规则网格中，称之为张量。比如张量$A$中坐标为$(i,j,k)$的元素记作$A_{i,j,k}$。在计算机视觉中，5张3通道的32$\times$32大小的图像可以用张量表示为$(5,3,32,32)$

矩阵的转置、矩阵与向量相乘、两个向量的点积（$x^{\top}y$）
单位矩阵、逆矩阵的概念：$A^{-1}A=I_{n}$

对于下列线性方程组的求解：$Ax = b$，其中$A \in \mathbb{R}^{m\times n}$，$b\in \mathbb{R}^{m}$，$x\in \mathbb{R}^{n}$，可以写作：

可以通过以下步骤来求解：

如果逆矩阵$A^{-1}$存在，那么方程组肯定对于每一个向量b恰好存在一个解。

对于向量b的某些值，有可能不存在解，或者存在无限多个解。存在多于一个解但是少于无限多个解的情况不可能发生。

可以将A的列向量看作从原点出发的不同方向，确定有多少种方法可以到达向量b，这是，向量x中的每一个元素表示沿这个方法走多远。

$Ax = \sum_{i} x_{i}A_{:,i}$，这种操作称为线性组合。一组向量的生成子空间是原始向量线性组合后所能抵达的点的集合。确定$Ax = b$是否有解相当于确定向量$b$ 是否在$A$ 列向量的生成子空间中。这个特殊的生成子空间被称为$A$ 的列空间（column space）或者$A$ 的值域（range）。

$A$至少有m列，即$n \geq m$。

对于每一个向量都有解的充分必要条件是：该矩阵必须包含至少一组m个线性无关的向量。

但是当$n > m$时，会有无穷多个解，于是要使它只有一个解，只能是$m = n$，此时$A^{-1}$存在。于是可以推得，要使得A的逆存在，必须为方阵，且所有列向量线性无关。此时它也叫非奇异矩阵，如果列向量线性相关的方阵，叫做奇异矩阵。

到此关于线性方程组的讨论结束！

范数的概念、对角矩阵（除了主对角线上含有非零元素，其它位置都是零）、对称矩阵（$A = A^{\top}$）

正交矩阵：如果$x^{\top} y=0$，那么向量x和y互相正交。如果这些向量不但互相正交，其2范数都为0，那么称它们标准正交。

单位向量是具有单位范数的向量： ∥x∥2=