机器学习的数学基础之线代

参考：https://zhuanlan.zhihu.com/p/25197792
概述：以计算机为工具和平台，以数据为研究对象，以学习方法为中心；是概率论、线性代数、数值计算、信息论、最优化理论和计算机科学等多个领域的交叉学科

线代

• 标量：一个单独的数，一般用小写的的变量名称表示
• 向量：一列数，这些数是有序排列的。用过次序中的索引，我们可以确定每个单独的数。通常会赋予向量粗体的小写名称。
• 矩阵：二维数组，其中的每一个元素被两个索引而非一个所确定。我们通常会赋予矩阵粗体的大写变量名称，比如A。 如果一个实数矩阵高度为m，宽度为n，那么我们说 $$AϵR^{m\times n}$$
• 张量:基于向量和矩阵的推广，可视标量为零阶张量，矢量为一阶张量，矩阵为二阶张量
• 所有运算和优化算法几乎都是基于张量进行的。
• 范数(norm) 的函数衡量矩阵大小。Lp 范数如下：
  
  L1范数和L2范数很常见，主要用在损失函数中起到一个限制模型参数复杂度的作用
• 特征分解是使用最广的矩阵分解之一，将矩阵分解成一组特征向量和特征值。
  方阵A的特征向量是指与A相乘后相当于对该向量进行缩放的非零向量$$\nu$$：
  $$A\nu =\lambda \nu$$标量\lambda 被称为这个特征向量对应的特征值。
  使用特征分解去分析矩阵A时，得到特征向量构成的矩阵V和特征值构成的向量$$\lambda$$，我们可以重新将A写作：
  $$A=Vdiag\left(\lambda \right)V^{-1}$$