线代回顾

Basic Concepts and Notation

线性代数提供了表达线性等式的一种简明方法。比如如下方程：
$4x_1-5x_2=-13$
$-2x_1+3x_2=9$
在矩阵表示中，可以将这个系统表示为$Ax=b$，其中
$A = \begin{bmatrix} 4 & -5 \\ -2 & 3 \end{bmatrix}, b = \begin{bmatrix} -13 \\ 9\end{bmatrix}$

Basic Notation

介绍了一些基本的表示。

Matrix Multiplication

介绍了矩阵乘法以及一些基本性质。

Operations and Properties

The Identity Matrix and Diagonal Matrices

单位矩阵(identity matrix)表示为$I \in R^{n*n}$，其除对角线上元素为1外，其余元素全为0。
对角线矩阵(diagonal matrix)表示为$D=diag(d_1,d_2,...d_n)$，其除对角线元素外，其余元素全为0。

The Transpose

矩阵的转置(transpose)，将交换矩阵的行与列。给定一个矩阵$A \in R^{m*n}$，其转置$A^T \in R^{n*m}$，元素为$(A^T)_{ij}=A_{ji}$。
性质：

• $(A^T)^T=A$
• $(AB)^T=B^TA^T$
• $(A+B)^T=A^T+B^T$

Symmetric Matrices

对矩阵$A \in R^{m*n}$，如果$A=A^T$则称其为对称(symmetric)。若$A=-A^T$称其为反对称(anti-symmetric)。
则对于任意$A \in R^{n*n}$，$A+A^T$是对称的，$A-A^T$是反对称的，且$A$可以表示为对称矩阵和反对称矩阵的和，$A=\frac{1}{2}(A+A^T)+\frac{1}{2}(A-A^T)$。
通常将所有大小为$n*n$的对称矩阵表示为$S^n$。

The Trace

对于一个方阵$A \in R^{n*n}$，其迹(trace)表示为$tr(A)$或$trA$，为对角线的和。
$trA=\sum_{i=1}^nA_{ii}$
其性质如下：

• 对于$A \in R^{n*n},trA=trA^T$。
• 对于$A,B \in R^{n*n}, tr(A+B)=trA+trB$。
• 对于$A \in R^{n*n},t\in R,tr(tA)=t*trA$。
• 对于矩阵$A,B$，$AB$是方阵，$trAB=trBA$
• 对于矩阵$A,B,C$，$ABC$是方阵，则$trABC=trBCA=trCAB$。依此类推到更多矩阵。

Norms

一个向量的范数(norm)可以定义为任意一个满足如下性质的函数$f:R^n->R$：

1. 对于所有$x \in R^n$，$f(x)\ge0$。(non-negativity)
2. 当且仅当$x=0$，$f(x)=0$。(definiteness)
3. 对于所有$x \in R^n$，$t \in R$，$f(tx)=|t|f(x)$。(homogeneity)
4. 对于所有$x,y \in R^n$，$f(x+y) \le f(x)+f(y)$。(triangle inequality)

$l_p$范数：$||x||_p=(\sum_{i=1}^n|x_i|^p)^{1/p}$。其中$p \ge 1$。当$p= \infty$时，$||x||_\infty=max_i|x_i|$。

范数也可以定于与矩阵，比如frobenius范数，$||A||_F=\sqrt{\sum_{i=1}^m\sum_{j=1}^nA_{ij}^2}=\sqrt{tr(A^TA)}$。

Linear Independence and Rank

对于一个向量集合${x_1,x_2,...x_n}\subset R^m$，如果其中没有一个向量可以表示为其余剩下的向量的线性组合，则称这个集合线性无关(linear independent)。相对的，如果如果其中的一个向量可以由余下的向量线性表示，则称其为线性相关(linearly dependent)，即$x_n=\sum_{i=1}^{n-1}\alpha_i x_i$。

对于一个矩阵$A \in R^{m*n}$，其列的秩(column rank)为$A$中的列向量组成的任意线性无关的集合中，包含最多的向量个数。同理可得矩阵的行的秩(row rand)。对任意矩阵，其行秩等于列秩，因此总称为矩阵$A$的秩(rank)，表示为$rank(A)$。其性质如下：

• 对于$A \in R^{m*n}$，$rank(A) \le min(m,n)$。如果$rank(A)=min(m,n)$，称$A$为满秩。
• 对于$A \in R^{m*n}$，$rank(A)=rank(A^T)$。
• 对于$A \in R^{m*n},B\in R^{n*p}$，$rank(AB) \le min(rank(A), rank(B))$。
• 对于$A,B \in R^{m*n}$，$rank(A+B) \le rank(A)+rank(B)$。

The Inverse

矩阵$A \in R^{n*n}$的逆(inverse)表示为$A^{-1}$。且$A^{-1}A=I=AA^{-1}$。
并非所有矩阵都有逆，非方阵就没有逆。但并非所有方阵都有逆。

对于逆存在的矩阵$A$，称其可逆(invertible)或非奇异(non-singular)；逆不存在，称其不可逆(non-invertible)或奇异(singular)。

对于一个可逆矩阵$A$，其一定满秩。

对于非奇异矩阵$A,B \in R^{n*n}$，有如下性质：

• $(A^{-1})^{-1}=A$。
• $(AB)^{-1}=B^{-1}A^{-1}$。
• $(A^{-1})^T=(A^T)^{-1}$，因此也写做$A^{-T}$。

Orthogonal Matrices

对于一个向量$x \in R^n$，如果$||x||_2=1$，则称其为单位向量(normalized)。
对于两个向量$x,y \in R^n$，如果$x^Ty=0$，则称其正交(orthogonal)。
对于一个方阵$U \in R^{n*n}$，如果其所有的列两两正交，并且都为单位向量，则称这个矩阵为正交矩阵。并且可以得到$U^TU=I=UU^T$，更进一步$U^{-1}=U^T$。
在一个向量$x\in R^n$上操作一个正交矩阵$U\in R^{n*n}$不会改变向量的欧拉范数，$||Ux||_w=||x||_2$。

Range and Nullspace of a Matrix

向量$\{x_1,x_2,...,x_n\}$的张成子空间(span)表示为向量的线性组合，即$span(\{x_1,...x_n\})=\{v:v=\sum_{i=1}^n \alpha_i x_i , \alpha_i \in R \}$。
向量$y\in R^m$在向量$\{ x_1,...,x_n \}$的投影(projection)定义为向量$v \in span(\{x_1,...x_n\})$，其中$v$与$y$有最小的欧拉范数距离，可以表示为$Proj(y;\{x_1,...x_n\})=argmin_{v\in span(\{x_1,...x_n\})}||y-v||_2$。
矩阵$A\in R^{m*n}$的范围\空间(range\columnspace)为$R(A)=\{ v \in R^m：v=Ax,x\in R^n \}$。
假设$A$满秩，并且$n<m$，则向量$y \in R^m$在矩阵空间上的投影为$Proj(y;A)=argmin_{v\in R(A)}||y-v||_2=A(A^TA)^{-1}A^Ty$。
这个方程几乎和最小二乘法推导出的一样。由投影的定义可知，其与最小二乘法的目标是一样的。
矩阵$A\in R^{m*n}$的零空间定义为$N(A)=\{ x\in R^n:Ax=0 \}$。

The Determinant

方阵$A \in R^{n*n}$的行列式(determinant)定义为函数$det:R^{n*n}->R$，记为$|A|$或者$detA$。
行列式的性质有：

• $|I|=1$。
• $\begin{vmatrix} - ta_1^T-\\ -a_2^T- \\ ... \\ -a_m^T-\end{vmatrix}=t|A|$。
• $\begin{vmatrix} - a_2^T-\\ -a_1^T- \\ ... \\ -a_m^T-\end{vmatrix}=-|A|$。

对于$A\in R^{n*n},A_{/i,/j}$表示去掉矩阵$A$中的第i行和第j列。则$|A|=\sum_{i=1}^n(-1)^{i+j}a_{ij}|A_{/i,/j}|$。
矩阵$A$的伴随矩阵(classical adjoint)记为$adj(A)\in R^{n*n}$，$(adj(A))_{ij}=(-1)^{i+j}|A_{/j,/i}|$。注意这里是去掉第j行第i列。
对于任何非奇异矩阵$A\in R^{n*n}$，$A^{-1}=\frac{1}{|A|}adj(A)$。

Quadratic Forms and Positive Semidefinite Matrices

方阵$A\in R^{n*n}$，向量$x\in R^n$，$x^TAx$称为二次型(quadratic form)。

正定(positive definite)：对于一个对称矩阵$A\in S^n$，如果$x\in R^n,x^TAx>0$，称为正定，记为$A>0,S_{++}^n$。

半正定(positive semi-definite)：对于一个对称矩阵$A\in S^n$，如果$x\in R^n,x^TAx\ge 0$，称为正定，记为$A\ge0,S_{+}^n$。

负定(negative definite)：对于一个对称矩阵$A\in S^n$，如果$x\in R^n,x^TAx< 0$，称为正定，记为$A<0$。

半负定(negative semi-definite)：对于一个对称矩阵$A\in S^n$，如果$x\in R^n,x^TAx\le 0$，称为正定，记为$A\le0$。

未定义(indefinite)，即不正定也不负定。

显然如果$A$正定，则$-A$负定。正定矩阵和负定矩阵都可逆。

Eigenvalues and Eigenvectors

对于方阵$A\in R^{n*n}$，如果$Ax=\lambda x,x\neq0$，则称$\lambda \in C$为特征值(eigenvalues)，$x \in C^n$为特征向量(eigenvectors)。
由$|(\lambda I-A)|=0$可以求出所有的特征值$\lambda$，再带入特征值到$(\lambda I -A)x=0,x\neq0$可以求出特征值$\lambda$所对应的特征向量$x$。
其性质有：

• $trA=\sum_{i=1}^n \lambda _i$。
  • $|A|=\prod_{i=1}^n\lambda_i$。
  • $rank(A)$为$A$的非0特征值数。
  • 如果$A$非奇异，则$1/\lambda_i$是$A^{-1}$的特征值。

  • Matrix Calculus

    一些基本的矩阵微积分的定义。

    The Gradient

    假设$f:R^{m*n}->R$是输入一个矩阵$A \in R^{m*n}$，输出一个实数的函数。则函数$f$的微分(gradient)，为偏导的矩阵，定义为：
    $\nabla_Af(A)\in R^{m*n}$，其中$(\nabla_Af(A))_{ij}=\frac{\partial f(A)}{\partial A_{ij}}$。
    有如下性质：

    • $\nabla_x(f(x)+g(x))=\nabla_xf(x)+\nabla_xg(x)$。
    • 对于$t\in R, \nabla_x(tf(x))=t\nabla_xf(x)$。

    The Hessian

    假设$f:R^n->R$是一个输入n维向量，输出实数的函数。
    海森(Hessian)矩阵定义为：
    $\nabla_x^2f(x)\in R^{n*n}$
    其中$(\nabla_x^2f(x))_{ij}=\frac{\partial^2f(x)}{\partial x_i\partial x_j}$，Hessian矩阵是一个对称矩阵。

    Gradients and Hessians of Quadratic and Linear Functions

    对$x\in R^n$，$f(X)=b^Tx$对一些已知的向量$b\in R^n$，有$f(x)=\sum_{i=1}^nb_ix_i$，可得$\frac{\partial f(x)}{\partial x_k}=\frac{\partial}{\partial x_k}\sum_{i=1}^nb_i x_i=b_k$。

    对于二次函数$f(x)=x^TAx,A\in S^n$，我们有$f(x)=\sum_{i=1}^n \sum_{j=1}^n A_{ij}x_ix_j$，$\frac{\partial f(x)}{\partial x_k}=\frac{\partial}{\partial x_k}\sum_{i=1}^n \sum_{j=1}^n A_{ij}x_ix_j=...=2\sum_{i=1}^nA_{ki}x_i$。

    因此，可以总结如下：

    • $\nabla_xb^Tx=b$。
    • $\nabla_xx^TAx=2Ax$(if A symmetric)。
    • $\nabla_x^2x^TAx=2A$(if A symmetric)。

    Least Squares

    $x=(A^TA)^{-1}A^Tb$

    Gradients of the Determinant

    由于$|A|=\sum_{i=1}^n(-1)^{i+j}A_{ij}|A_{/i,/j}|$，所以$\frac{\partial}{\partial A_{kl}}\sum_{i=1}^n(-1)^{i+j}A_{ij}|A_{/i,/j}|=(-1)^{k+l}|A_{/k,/l}|=(adj(A))_{lk}$。
    $\nabla_A|A|=(adj(A))^T=|A|A^{-T}$。

    Eigenvalues as Optimization

    有如下问题$max_{x\in R^n} x^TAx,s.t.||x||^2_2=1,A\in S^n$。
    由拉格朗日法，可得$L(x,\lambda)=x^TAx-\lambda x^Tx$；
    $\nabla_x L(x, \lambda)=\nabla_x(x^TAx-\lambda x^Tx)=2A^Tx-2\lambda x=0$。可以得到$Ax=\lambda x$，这表示若$x^Tx=1$，可以最大化/最小化$x^TAx$的是其特征向量。