Linear Algebra (一)

Multiply

$$AB=C$$
$$\left[\begin{array}{ccc}{a}_{11}& \cdots & a_{1n}\\ ⋮& \ddots & ⋮\\ a_{m1}& \cdots & a_{mn}\end{array}\right]\left[\begin{array}{ccc}{b}_{11}& \cdots & b_{1p}\\ ⋮& \ddots & ⋮\\ b_{n1}& \cdots & b_{np}\end{array}\right]=\left[\begin{array}{ccc}{c}_{11}& \cdots & c_{1p}\\ ⋮& \ddots & ⋮\\ c_{m1}& \cdots & c_{mp}\end{array}\right]$$

矩阵相乘的5种视角，互相等价

• 常规视角

  • $c_{ij}={\sum }_{k=1}^n{a}_{ik}{b}_{kj}$

• 通过矩阵和向量乘法

  • 右乘：C 的每个列向量${\mathbf{c}}_j$由A的列向量${\mathbf{a}}_k,1\le k\le n$的线性组合构成 ${\mathbf{c}}_j={\sum }_{k=1}^n{b}_{kj}{\mathbf{a}}_k$

  • 左乘：C 的没个行向量${\mathbf{c}}_i$ 由B的行向量${\mathbf{b}}_k,1\le k\le p$的线性组合构成${\mathbf{c}}_i={\sum }_{k=1}^p{a}_{ik}{\mathbf{b}}_k$

• $AB={\sum }_i(colum{n}_{i}OfA)(ro{w}_{i}OfB)$

• By Blocks

Invertibility

左逆矩阵（Left Inverse）：

$$A^{-1}A=I$$

右逆矩阵（Right Inverse）

$A{A}^{-1}=I$

Dependence：

向量$V_1,V_2,..,V_n$，存在组合非全零实数$c_1,c_2,...,c_n$，满足${\sum }_{i=1}^n{c}_i{V}_i=0$，则称向量线性相关。

行列式

矩阵行列式的三个性质：

• $det(I)=1$
• Exchange rows , reverse sign of determinant
• Linear for each row

$$\left|\begin{array}{cc}t\ast a& t\ast b\\ c& d\end{array}\right|=t\ast \left|\begin{array}{cc}a& b\\ c& d\end{array}\right|$$

$$\left|\begin{array}{cc}a+a^{\prime }& b+b^{\prime }\\ c& d\end{array}\right|=\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|+\left|\begin{array}{cc}{a}^{\prime }& b^{\prime }\\ c& d\end{array}\right|$$

由此三个性质推导出行列式的以下性质：

• two equal rows => det = 0
• subtract $l\times ro{w}_i$ from $ro{w}_j$, det does not change.

$$\left|\begin{array}{cc}a& b\\ c-l\ast a& d-l\ast b\end{array}\right|=\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|+\left|\begin{array}{cc}a& b\\ -l\ast a& -l\ast b\end{array}\right|$$
$$=\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|-l\ast \left|\begin{array}{cc}a& b\\ a& b\end{array}\right|=\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|$$

• Row of zeros => det = 0

$$\left|\begin{array}{cc}0\ast a& 0\ast b\\ c& d\end{array}\right|=0\ast \left|\begin{array}{cc}a& b\\ c& d\end{array}\right|=0$$

• Trianglar matrix => $det=d1\ast d2\ast d3...dn$

$$\left|\begin{array}{ccccc}d1& \cdots & \cdots & \cdots & \cdots \\ 0& d2& \cdots & \cdots & \cdots \\ 0& 0& d3& \cdots & \cdots \\ ⋮& ⋮& ⋮& ⋮& ⋮\\ 0& 0& 0& \cdots & dn\end{array}\right|=\prod _{i=1}^{n}di$$

• det = 0 exactly when A is singular（$det\ne 0$ when A is invertible）

• $det(AB)=det(A)det(B)$
  $$det{A}^{-1}=(detA{)}^{-1}$$
  $$det{A}^2=(detA{)}^2$$
  $$det2A=2^{n}detA$$

• $det{A}^T=detA$

$$det{A}^T=det{U}^T{L}^T=detUdetL=detLU=detA$$

行列式的定义

$$det(A)=\sum _{n!}{a}_{1\alpha }{a}_{2\beta }{a}_{1\gamma }...a_{n\omega }$$

$(\alpha ,\beta ,\gamma ,...,\omega )$is permutation of (1,2,3,…,n)

Singular

Exist a none zero vector X， satisfiy $Ax=0$，then A is singular.

特征值和特征向量

定义：A是n阶矩阵，若实数$\lambda$和n维非零向量$\alpha$满足$A\alpha =\lambda \alpha$，则称$\lambda$为A的特征值，$\alpha$为A的特征向量。

• If A is singular, the $\lambda =0$ is an eigenvalue.
• Trace：${\sum }_i{\lambda }_i=\sum a_{ii}$
• Determinant : $det={\prod }_i{\lambda }_i$
• 对称或近似对称，特征值是实数，否则可能是复数。

对称矩阵

对于对称举矩阵

• the eigenvalues are also Real
• the eigenvectors are Perpendicular

Usual case:

$A=S\Lambda S^{-1}$

Symmetric case:

$A=Q\Lambda Q^{-1}=Q\Lambda Q^T$

奇异值分解

定义：矩阵的奇异值分解是指，将一个非零的$m\times n$实矩阵$A,A\in R^{m\times n}$，表示为以下三个实矩阵乘积形式的运算，即进行矩阵的因子分解：

$$A=U\Sigma V^T$$

其中$U$是$m$阶正交矩阵，$V$是$n$阶正交矩阵，$\Sigma$是由降序排列的非负的对角线元素组成的$m\times n$矩形对角阵，满足

$$\begin{gathered} U{U}^T=I \\ V{V}^T=I \\ \Sigma =diag({\sigma }_1,{\sigma }_2,...,{\sigma }_p) \end{gathered}$$

$${\sigma }_1\ge {\sigma }_2\ge ...\ge {\sigma }_p\ge 0$$

$$p=min(m,n)$$

$U\Sigma V^T$称为矩阵A的奇异值分解（singular value decomposition）,${\sigma }_i$称为矩阵A的奇异值（singular value），$U$的列向量称为左奇异向量，V的列向量称为右奇异向量。

奇异值分解定理：若A为$m\times n$实矩阵，$A\in R^{m\times n}$，则A的奇异值分解存在

$$A=U\Sigma V^T$$

其中$U$是m阶正交矩阵，$V$是n阶正交矩阵，$\Sigma$是$m\times n$矩形对角矩阵，其对角线元素非负，且降序排列。