机器学习应用数学基础-线性代数

向量，矩阵，张量

1. 标量: x
   举例：点
2. 向量：$(x_1,x_2,x_3,...,x_n)\in R^n$
   举例：线（时间序列）或者n维空间里的一个方向
3. 矩阵（二维下标$A_{i,j}$）
   举例：面（黑白照片的灰度像素点）
4. 张量Tensor（多维下标，$A_{i,j,k,l...}$）
   举例：立体（魔方）或者 彩色照片（三维张量，三种RGB像素点的叠加）或者 视频（四维张量，在照片基础上增加时间维度）

---

向量和矩阵运算

相加减

• 对应项相加减

范数(距离)

$L_2=||x|{|}_2=\sqrt{x_1^2+x_2^2+....+x_n^2}$
$L_p=||x|{|}_p=({\sum }_{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}}$
$L_{\infty }=max|x_i|$
$L_0=0或者1$

相乘

$x\ast y=x^T\ast y={\sum }_1^n{x}_i{y}_i\in R$

---

张量的运算（了解）

• 导入：
  $x\ast y=x^T\ast y=标量$
  $x\ast y=x\ast y^T=矩阵$（** 升维**）
• 推广：
  $A_i,j\ast B_k=C_i,j,k$
  

---

逆与伪逆

逆

1. 定义
   $A^{-1}A=I=A{A}^{-1}$
2. 含义
   $Ab=c：A将b映射到c$
   $b=A^{-1}c：A^{-1}将c映射回b$

伪逆

• 不见得每个矩阵都存在逆矩阵，找到一种与逆相似的Moore penrose伪逆

---

行列式

• 矩阵映射到实数上

线性方程组

1. 定义
   $Ax=y：矩阵A将x映射到y$
2. 几何属性
   A中的某行元素将x的所有分量映射为y的某一个分量，最终成为一个向量y

---

二次型与正定性

二次型

• 定义：函数的所有项都是二次的，例如：
  $$f(x_1,x_2,...,x_n)=x_1^2+x_2^2+...+x_n^2+(x_1{x}_2+...+x_{n-1}{x}_n)$$

正定性

如果A可以被分解为：$A=V^{T}V$，矩阵A就是正定的

• 证明：
  二次型可以转化为：
  $$a_{11}{x}_1^2+2a_{12}{x}_1{x}_2+a_{22}{x}_2^2=\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\times \left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]\times \left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=x^{T}Ax=X^T{V}^{T}VX=(VX{)}^{T}VX=y^{T}y=\sum y_i^2\ge 0$$

---

矩阵分解

1. Cholesky分解
   $A=L^{T}L$，A是正定的，A可以分解为$L$下三角矩阵和$L^T$
2. LU分解
   mxn的矩阵分解为L（下三角mxk）和U（上三角kxn）