《深度学习》数学知识基础

由于之前我学习过高等代数和解析几何，所有在此只列举不熟悉或容易忘记的知识点。目录如下：
一、 线性代数
二、概率与信息论
三、数值计算

一、线性代数

1. 张量：一般的，一个数组中的元素分布在若干维坐标的规则网格中，我们称之为张量。
2. 矩阵与向量相加：在深度学习中，我们允许矩阵和向量相加，产生另一个矩阵：C=A+b，其中Ci,j=Ai,j+bj。换言之，向量b和矩阵A的每一行相加。（这里隐式地复制向量b到很多位置的方式，称为广播）
3. 元素对应乘积（Hadamard乘积）：两个矩阵中对应元素的乘积。
4. 矩阵乘积满足结合律，但是不满足交换律。
5. 标量可以看作只有一个元素的矩阵，标量的转置等于它本身。
6. 生成子空间：一组向量的生成子空间，是原始向量线性组合后所能抵达的点的集合。（确定Ax=b是否有解，相当于确定向量b是否在A列向量的生成子空间中。这个特殊的生成子空间被称为A的列空间或者A的值域）
7. 奇异的：一个列向量线性相关的方阵被称为奇异的。
8. 范数（包括Lp范数）：是将向量映射到非负值的函数。直观上来说，向量x的范数衡量原点到x的距离。（当机器学习问题中零和非零元素之间的差异非常重要时，通常会使用L1范数）
9. 最大范数：表示向量中具有最大幅值的元素的绝对值。
10. Frobenius范数：衡量矩阵的大小。
11. 对角矩阵： 只在主对角线上含有非零元素，其他位置都是零。我们用diag(