【书籍阅读】DeepLearning----第二章-线性代数

  矩阵 $A$ 的逆矩阵 $A^{-1}$ 可用于多次求解不同向量 $b$ 的 $Ax=b$ 的方程。然而，逆矩阵 $A^{-1}$ 主要是作为理论工具使用的，并不会在大多数软件应用程序中实际使用。这是因为逆矩阵 $A^{-1}$ 在数字计算机上只能表现出有限的精度，有效使用向量 $b$ 的算法通常可以得到更精确的解 $x$。

范数

  范数是将向量映射到非负值的函数。直观上来说，向量 $x$ 的范数衡量从原点到点 $x$ 的距离。更严格地说，范数是满足下列性质的任意函数：

• $f(x)=0 \Rightarrow x=0$
• $f(x+y) \leq f(x) + f(y)$
• $\forall \alpha \in \Re，f(\alpha x) = |\alpha|f(x)$

  所以当统计向量中非零元素的个数来衡量向量的大小（有些人称之为 $L^0$ 范数），这是不对的，其不满足第三条性质。因此，经常使用 $L^1$ 范数作为表示非零元素数目的替代函数。

  $L^p$范数的定义如下

$$\|x\|_p = (\sum_i |x_i|^p)^\frac 1 p$$   当$p=2$时，$L^2$范数被称为欧几里得范数。它表示从原点出发到向量 $x$ 确定的点的欧几里得距离。平方 $L^2$ 范数求导方便（对 $x$ 中每个元素的导数只取决于对应的元素，而 $L^2$ 范数对每个元素的导数却和整个向量相关）。与 $L^1$ 范数相比，平方 $L^2$ 在原点附近增长得十分缓慢。所以对于那些零和非零元素之间的差异非常重要时，通常会使用 $L^1$ 范数（每当 $x$ 中某个元素从 0 增加 $\epsilon$ ，对应的 $L^1$ 范数也会增加 $\epsilon$）。

• $L^\infty$范数：也被称为最大范数，表示向量中具有最大幅值的元素的绝对值： $$\|x\|_\infty = max_i|x_i|$$
• $Frobenius范数$：衡量矩阵的大小。$\|A\|_F = \sqrt {\sum_{i,j}A^2_{i,j}}$

特征分解

  许多数学对象可以通过将它们分解成多个组成部分或者找到它们的一些属性而更好地理解，这些属性是通用的，而不是我们认为去选择产生的。比如，整数可以分解成质因数（$12=2*2*3$，从这可以看出12能被3整除，不能被5整除），这个属性不管整数是由十进制还是二进制表示都是一样的。相同的，我们也可以通过分解矩阵来发现矩阵表示成数组元素时不明显的函数性质。
  特征分解，是将矩阵分解成一组特征向量和特征值的分解方式，是使用最广的矩阵分解之一。如果矩阵 $A$ 有 n 个现行无关的特征向量 {$v^{(1)}, ... , v^{(n)}$},则 $A$ 的特征分解 可以记作

$$A = V diag(\lambda)V^{-1}.$$
  奇异值分解，不是每一个矩阵都有特征分解，但是每个矩阵都有奇异值分解。

$$A = UDV^T.$$
  其中 $A$ 是一个 $m \times n$ 矩阵，$U$ 是一个 $m \times m$矩阵，$D$ 是一个 $m \times n$ 矩阵，$V$ 是一个 $n \times n$ 矩阵。且这些矩阵都有特殊的结构：矩阵 $U$ 和 $V$ 都定义为正交矩阵，而矩阵 $D$ 定义为对角矩阵（不一定是方阵）。对角矩阵 $D$ 对角线上的元素被称为矩阵 $A$ 的奇异值（singular value）。矩阵 $U$ 的列向量被称为 左奇异向量（left singular vector），矩阵 的列向量被称为右奇异向量。SVD最有用的一个性质可能是拓展矩阵求逆到非方阵上。