机器学习中的数学基础 3_机器学习中未知数最高次数为负数的模型为-优快云博客

向量矩阵张量定义

标量： $x$ 表示只有长度
向量： $(x_1, x_2, ..., x_n) \isin \reals^n$ 表示 $n$ 维空间的实数向量
- 有些论文中下标为负数：
  - $x_{-1} = (x_2, x_3, ..., x_n)$
  - $x_{-i} = (x_1, ..., x_{i-1}, x_{i+1}, ..., x_n)$
矩阵： $m$ 行 $n$ 列

$A_{i,j} = \begin{pmatrix} a_{11} & a_{12} & ... & a_{1n} \\ a_{21} & a_{12} & ... & a_{1n} \\ ... & ... & ... & .. \\ a_{m1} & a_{m2} & ... & a_{mn} \end{pmatrix}$

张量：行列式堆叠，比如股票信息增加一维时间序列，视频= $r g b$ 通道+时间等
- 其坐标在 $n$ 维空间内，有 $n^r$ 个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。 $r$ 称为该张量的秩或阶（与矩阵的秩和阶均无关系）。
- 在同构的意义下，第零阶张量（ $r = 0$ ）为标量，第一阶张量（ $r = 1$ ）为向量，第二阶张量（ $r = 2$ ）则成为矩阵。

$A_{i,j,k,l,....} = ...$

向量和矩阵运算

加（减）法

$m\times n$ 矩阵 $\mathbf{A}$ 和 $\mathbf {B}$ 的和（差）： $\mathbf {A} \pm \mathbf {B}$ 为一个 $m\times n$ 矩阵，其中每个元素是 $\mathbf{A}$ 和 $\mathbf {B}$ 相应元素的和（差），

$(\mathbf {A} \pm \mathbf {B} )_{i,j}=\mathbf {A} _{i,j}\pm \mathbf {B} _{i,j}$

其中 $1\leq i\leq m,1\leq j\leq n$

数乘

标量 $c$ 与矩阵 $\mathbf{A}$ 的数乘： $c\mathbf {A}$ 的每个元素是 $\mathbf{A}$ 的相应元素与 $c$ 的乘积，

$(c\mathbf {A} )_{i,j}=c\cdot \mathbf {A} _{i,j}$

转置

$m\times n$ 矩阵 $\mathbf{A}$ 的转置是一个 $n\times m$ 的矩阵，记为 $\mathbf {A} ^{\mathrm {T} }$ （有些书中也记为 $\mathbf {A} ^{\mathrm {tr} }}或{\displaystyle ^{\mathrm {t} }\mathbf {A} }{\displaystyle ^{\mathrm {t} }\mathbf {A} }、{\displaystyle \mathbf {A} '}{\displaystyle \mathbf {A} '$ ），其中的第 $i$ 个行向量是原矩阵 $\mathbf{A}$ 的第 $i$ 个列向量；或者说，转置矩阵 $\mathbf {A} ^{\mathrm {T} }$ 第 $i$ 行第 $j$ 列的元素是原矩阵 $\mathbf{A}$ 第 $j$ 行第 $i$ 列的元素，

$\displaystyle (\mathbf {A} ^{\mathrm {T} })_{i,j}=\mathbf {A} _{j,i}$

范数

矩阵范数（matrix norm）亦译矩阵模是数学中矩阵论、线性代数、泛函分析等领域中常见的基本概念，是将一定的矩阵空间建立为赋范向量空间时为矩阵装备的范数。应用中常将有限维赋范向量空间之间的映射以矩阵的形式表现，这时映射空间上装备的范数也可以通过矩阵范数的形式表达。

常见向量范数

0范数，向量中非零元素的个数。
1范数：即向量元素绝对值之和。

$||x||_1 = \sum_{i=1}^N|x_i|$

2范数(Euclid范数，欧几里得范数)：Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方。

$||x||_2 =\sqrt{\sum_{i=1}^Nx_i^2}$

$\infty$ - 范数：即所有向量元素绝对值中的最大值

$||x||_\infty = \max_{i}|x_i|$

$-\infty$ - 范数：即所有向量元素绝对值中的最小值

$||x||_{-\infty}=\min_i|x_i|$

$p$ - 范数：即向量元素绝对值的 $p$ 次方和的 $\frac{1}{p}$ 次幂

$||x||_p = (\sum_{i=1}^N|x_i|^p)^{\frac{1}{p}}$

参考：https://blog.youkuaiyun.com/SusanZhang1231/article/details/52127011

向量点积

点积（德語：Skalarprodukt；英語：Dot Product）又称数量积或标量积（德語：Skalarprodukt；英語：Scalar Product），是一种接受两个等长的数字序列（通常是坐标向量）、返回单个数字的代数运算。在欧几里得几何中，两个笛卡尔坐标向量的点积常称为内积（德語：inneres Produkt；英語：Inner Product），见内积空间。

代数定义

两个向量 ${\vec {a}}=[a_{1},a_{2},\cdots ,a_{n}]$ 和 ${\vec {b}}=[b_{1},b_{2},\cdots ,b_{n}]$ 的点积定义为：

$\braket{\vec{a}, \vec{b}} = \vec{a}\cdot \vec{b} = a^Tb = \sum_{i=1}^n a_ib_i = a_1b_1 + a_2b_2 + \cdots + a_nb_n$

几何定义

在欧几里得空间中，点积可以直观地定义为

$\vec{a} \cdot \vec{b} = |\vec{a}| \, |\vec{b}| \cos \theta \;$

这里 $|\vec{x}|$ 表示 $\vec{x}$ 的模（长度）， $\theta$ 表示两个向量之间的角度

两种定义的等价性

点积的两种定义中，只需给定一种定义，另外一种定义就可以推出。参考

矩阵相乘

矩阵相乘最重要的方法是一般矩阵乘积。它只有在第一个矩阵的列数（column，台湾作行数）和第二个矩阵的行数（row，台湾作列数）相同时才有定义。一般单指矩阵乘积时，指的便是一般矩阵乘积。若 $A$ 为 $m\times n$ 矩阵， $B$ 为 $n\times p$ 矩阵，则他们的乘积 $A B$ (有时记做 $A\cdot B$ ）会是一个 $m\times p$ 矩阵。其乘积矩阵的元素如下面式子得出：

$(AB)_{ij}=\sum _{r=1}^{n}a_{ir}b_{rj}=a_{i1}b_{1j}+a_{i2}b_{2j}+\cdots +a_{in}b_{nj}$

向量表方法
一般矩阵乘积也可以想为是行向量和列向量的内积。若 $\mathbf{A}$ 和 $\mathbf {B}$ 为给定如下的矩阵：

${\mathbf {A}}={\begin{bmatrix}a_{{1,1}}&a_{{1,2}}&a_{{1,3}}&\dots \\a_{{2,1}}&a_{{2,2}}&a_{{2,3}}&\dots \\a_{{3,1}}&a_{{3,2}}&a_{{3,3}}&\dots \\\vdots &\vdots &\vdots &\ddots \end{bmatrix}}={\begin{bmatrix}A_{1}\\A_{2}\\A_{3}\\\vdots \end{bmatrix}}且{\mathbf {B}}={\begin{bmatrix}b_{{1,1}}&b_{{1,2}}&b_{{1,3}}&\dots \\b_{{2,1}}&b_{{2,2}}&b_{{2,3}}&\dots \\b_{{3,1}}&b_{{3,2}}&b_{{3,3}}&\dots \\\vdots &\vdots &\vdots &\ddots \end{bmatrix}}={\begin{bmatrix}B_{1}&B_{2}&B_{3}&\dots \end{bmatrix}}$

其中

$A_{1}$ 是由所有 $a_{1,x}$ 元素所组成的向量， $A_{2}$ 是由所有 $a_{2,x}$ 元素所组成的向量，以此类推。
$B_{1}$ 是由所有 $b_{x,1}$ 元素所组成的向量， $B_{2}$ 是由所有 $b_{x,2}$ 元素所组成的向量，以此类推。
则

${\mathbf {AB}}={\begin{bmatrix}A_{1}\\A_{2}\\A_{3}\\\vdots \end{bmatrix}}\times {\begin{bmatrix}B_{1}&B_{2}&B_{3}&\dots \end{bmatrix}}={\begin{bmatrix}(A_{1}\cdot B_{1})&(A_{1}\cdot B_{2})&(A_{1}\cdot B_{3})&\dots \\(A_{2}\cdot B_{1})&(A_{2}\cdot B_{2})&(A_{2}\cdot B_{3})&\dots \\(A_{3}\cdot B_{1})&(A_{3}\cdot B_{2})&(A_{3}\cdot B_{3})&\dots \\\vdots &\vdots &\vdots &\ddots \end{bmatrix}}$

其他形式矩阵乘积

阿达玛乘积

在数学中，阿达玛乘积（英語：Hadamard product，又译哈达玛乘积），又名舒尔乘积（Schur product）[1]或逐项乘积（entrywise product），是一个二元运算，其输入为两个相同形状的矩阵，输出是具有同样形状的、各个位置的元素等于两个输入矩阵相同位置元素的乘积的矩阵。

若两个矩阵 $A$ 和 $B$ 具有相同的维度 $m\times n$ ，则它们的阿达玛乘积 $A\circ B$ 是一个具有相同维度的矩阵，其元素值为：

$(A\circ B)_{ij}=(A)_{ij}(B)_{ij}.$

对于维度不相等的矩阵( $m \times n$ 矩阵和 $p \times q$ 矩阵，其中 $m \neq = p$ 或 $n \neq = q$ )，阿达玛乘积没有定义。

克罗内克积

数学上，克罗内克积（英語：Kronecker product）是两个任意大小的矩阵间的运算，表示为 $\otimes$ 。简单地说，就是将前一个矩阵的每个元素乘上后一个完整的矩阵。克罗内克积是外积从向量到矩阵的推广，也是张量积在标准基下的矩阵表示。

如果 $A$ 是一个 $m \times n$ 的矩阵，而 $B$ 是一个 $p \times q$ 的矩阵，克罗内克积 $A\otimes B$ 则是一个 $m p \times n q$ 的分块矩阵

$A\otimes B={\begin{bmatrix}a_{{11}}B&\cdots &a_{{1n}}B\\\vdots &\ddots &\vdots \\a_{{m1}}B&\cdots &a_{{mn}}B\end{bmatrix}}.$

更具体地可表示为

$A\otimes B={\begin{bmatrix}a_{{11}}b_{{11}}&a_{{11}}b_{{12}}&\cdots &a_{{11}}b_{{1q}}&\cdots &\cdots &a_{{1n}}b_{{11}}&a_{{1n}}b_{{12}}&\cdots &a_{{1n}}b_{{1q}}\\a_{{11}}b_{{21}}&a_{{11}}b_{{22}}&\cdots &a_{{11}}b_{{2q}}&\cdots &\cdots &a_{{1n}}b_{{21}}&a_{{1n}}b_{{22}}&\cdots &a_{{1n}}b_{{2q}}\\\vdots &\vdots &\ddots &\vdots &&&\vdots &\vdots &\ddots &\vdots \\a_{{11}}b_{{p1}}&a_{{11}}b_{{p2}}&\cdots &a_{{11}}b_{{pq}}&\cdots &\cdots &a_{{1n}}b_{{p1}}&a_{{1n}}b_{{p2}}&\cdots &a_{{1n}}b_{{pq}}\\\vdots &\vdots &&\vdots &\ddots &&\vdots &\vdots &&\vdots \\\vdots &\vdots &&\vdots &&\ddots &\vdots &\vdots &&\vdots \\a_{{m1}}b_{{11}}&a_{{m1}}b_{{12}}&\cdots &a_{{m1}}b_{{1q}}&\cdots &\cdots &a_{{mn}}b_{{11}}&a_{{mn}}b_{{12}}&\cdots &a_{{mn}}b_{{1q}}\\a_{{m1}}b_{{21}}&a_{{m1}}b_{{22}}&\cdots &a_{{m1}}b_{{2q}}&\cdots &\cdots &a_{{mn}}b_{{21}}&a_{{mn}}b_{{22}}&\cdots &a_{{mn}}b_{{2q}}\\\vdots &\vdots &\ddots &\vdots &&&\vdots &\vdots &\ddots &\vdots \\a_{{m1}}b_{{p1}}&a_{{m1}}b_{{p2}}&\cdots &a_{{m1}}b_{{pq}}&\cdots &\cdots &a_{{mn}}b_{{p1}}&a_{{mn}}b_{{p2}}&\cdots &a_{{mn}}b_{{pq}}\end{bmatrix}}.$

我们可以更紧凑地写为 $(A\otimes B)_{p(r-1)+v,q(s-1)+w}=a_{rs}b_{vw}$

张量运算

张量（英语：Tensor）是一个可用来表示在一些向量、标量和其他张量之间的线性关系的多线性函数。其坐标在 $n$ 维空间内，有 $n^r$ 个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。 $r$ 称为该张量的秩或阶（与矩阵的秩和阶均无关系）。

在同构的意义下，第零阶张量（ $r = 0$ ）为标量，第一阶张量（ $r = 1$ ）为向量，第二阶张量（ $r = 2$ ）则成为矩阵。

张量积

在数学中，张量积，记为 $\otimes$ ，可以应用于不同的上下文中如向量、矩阵、张量、向量空间、代数、拓扑向量空间和模。在各种情况下这个符号的意义是同样的:最一般的双线性运算。在某些上下文中也叫做外积。

有两个（或更多）张量积的分量的一般公式。例如，如果 $U$ 和 $V$ 是秩分别为 $n$ 和 $m$ 的两个协变张量，则它们的张量积的分量给出为

$(V\otimes U)_{i_1i_2\dots i_{m+n}} = V_{i_1i_2i_3\dots i_n}U_{i_{n+1}i_{n+2}\dots i_{n+m}}。$

所以两个张量的张量积的分量是每个张量的分量的普通积。

例子参考：https://zh.m.wikipedia.org/zh/%E5%BC%A0%E9%87%8F%E7%A7%AF
https://zhuanlan.zhihu.com/p/139105732
https://blog.youkuaiyun.com/qq_45777142/article/details/107223109
https://zhuanlan.zhihu.com/p/20783300

矩阵的逆与伪逆

逆矩阵

逆矩阵（inverse matrix），又称乘法反方阵、反矩阵。在线性代数中，给定一个n 阶方阵 $\mathbf{A}$ ，若存在一n 阶方阵 $\mathbf {B}$ ，使得 $\mathbf{AB}=\mathbf{BA}=\mathbf{I}_n$ ，其中 $\mathbf{I}_n$ 为 $n$ 阶单位矩阵，则称 $\mathbf{A}$ 是可逆的，且 $\mathbf {B}$ 是 $\mathbf{A}$ 的逆矩阵，记作 $\mathbf {A} ^{-1}$ 。

只有方阵（ $n \times n$ 的矩阵）才可能有逆矩阵。若方阵 $\mathbf{A}$ 的逆矩阵存在，则称 $\mathbf{A}$ 为非奇异方阵或可逆方阵。

秩 (线性代数)

在线性代数中，一个矩阵 $A$ 的列秩是 $A$ 的线性无关的纵列的极大数目。类似地，行秩是 $A$ 的线性无关的横行的极大数目。矩阵的列秩和行秩总是相等的，因此它们可以简单地称作矩阵 $A$ 的秩。通常表示为 $\mathrm {r} (A)$ ， $\mathrm {rank} (A)$ 或 $\mathrm {rk} (A)$ 。

性质

$m \times n$ 矩阵的秩不大于 $m$ 且不大于 $n$ 的一个非负整数，表示為 $r k (A) \leq min (m, n)$ 。有尽可能大的秩的矩阵被称为有满秩；类似的，否则矩阵是秩不足（或称为“欠秩”）的。

只有零矩阵有秩0
$A$ 的秩最大为 $min (m, n)$

定义参考：https://zh.wikipedia.org/wiki/%E7%A7%A9_(%E7%BA%BF%E6%80%A7%E4%BB%A3%E6%95%B0)

摩尔－彭若斯广义逆(伪逆)

摩尔－彭若斯广义逆（英語：Moore–Penrose pseudoinverse），通常標記為 $A^\dagger$ 或 $A^{+}$ ，是著名的广义逆矩阵之一，也是该词的通常表達的意思。

彭若斯于1955年提出了定义广义逆矩阵的另外一组条件：

${\boldsymbol {AA^{\dagger}A}={\boldsymbol {A}}}$
${\boldsymbol {A^{\dagger}AA^{\dagger}}={\boldsymbol {A^\dagger}}}$
$({\boldsymbol {AA^{\dagger}}})^{\boldsymbol {H}}={\boldsymbol {AA^{\dagger}}}$
$({\boldsymbol {A^{\dagger}A})^{\boldsymbol {H}}={\boldsymbol {A^{\dagger}A}}}$

以上四个条件常称摩尔-彭若斯条件， $A^{\dagger}$ 需要满足全部四个条件, $A^H$ 是复数共轭转置。

行列式

行列式（Determinant）是数学中的一个函数，将一个 $n\times n$ 的矩阵 $A$ 映射到一个标量，记作 $\det(A)$ 或 $∣ A ∣$ 。行列式可以看做是有向面积或体积的概念在一般的欧几里得空间中的推广。

矩阵 $A$ 的行列式记作 $\det(A)$ 。行列式经常使用竖直线记法（例如：克莱姆法则和子式）。例如，对于一个矩阵：

$A={\begin{bmatrix}a & b & c\\ d & e & f\\g & h & i\end{bmatrix}}$

$\det(A)$ 也记作 $∣ A ∣$ ，或以细长的垂直线取代矩阵的方括号，明确的写为：

$|A|={\begin{vmatrix}a & b & c\\d & e & f\\g & h & i\end{vmatrix}}$

当这个记法用于绝对值时，其作用对象为数，矩阵的绝对值是无定义的。矩阵范数通常以双垂直线来表示（如： $||\cdot ||$ ），且可以使用下标。故不会与二者造成混淆。

$n$ 阶矩阵具体求值参考，简化版例子：,

2阶矩阵的行列式：

${\begin{vmatrix}a_{1,1}&a_{1,2}\\a_{2,1}&a_{2,2}\end{vmatrix}}=a_{1,1}a_{2,2}-a_{1,2}a_{2,1}[6]$

3阶矩阵的行列式，三阶矩阵的行列式为每条红线上的元素的乘积之和，减去蓝线上元素乘积之和。：

$\displaystyle {\begin{vmatrix}a_{1,1}&a_{1,2}&a_{1,3}\\a_{2,1}&a_{2,2}&a_{2,3}\\a_{3,1}&a_{3,2}&a_{3,3}\end{vmatrix}}=a_{1,1}a_{2,2}a_{3,3}+a_{1,2}a_{2,3}a_{3,1}+a_{1,3}a_{2,1}a_{3,2}-a_{1,3}a_{2,2}a_{3,1}-a_{1,1}a_{2,3}a_{3,2}-a_{1,2}a_{2,1}a_{3,3}[7]$

在这里插入图片描述

参考：
https://geek-docs.com/linear-algebra/determinants/determinant.html
https://zh.m.wikipedia.org/zh-hans/%E8%A1%8C%E5%88%97%E5%BC%8F

行列式性质

利用如下三个性质可以求行列式值。

线性性

行列式中，某一行（列）有公因子 $k$ ，则可以提出 $k$ 。

$D={\begin{vmatrix} a_{11}&a_{12}&\dots &a_{1n}\\ \vdots &\vdots &\dots &\vdots \\ {\color {blue}k}a_{i1}&{\color {blue}k}a_{i2}&\dots &{\color {blue}k}a_{in}\\ \vdots &\vdots &\ddots &\vdots \\ a_{n1}&a_{n2}&\dots &a_{nn} \end{vmatrix}}= {\color {blue}k}{\begin{vmatrix}a_{11}&a_{12}&\dots &a_{1n}\\ \vdots &\vdots &\dots &\vdots \\ a_{i1}&a_{i2}&\dots &a_{in}\\ \vdots &\vdots &\ddots &\vdots \\ a_{n1}&a_{n2}&\dots &a_{nn} \end{vmatrix}}={\color {blue}k}D_{1}D=$

在行列式中，某一行（列）的每个元素是两数之和，则此行列式可拆分为两个相加的行列式。
行列式简介及性质

在这里插入图片描述

反对称性质

若 $f(a_1, a_2, ..., a_n) = |a_1, a_2, .., a_n|$ 中, 向量 $a_i=a_j$ 且 $\neq j$ ，则 $f(a_1, a_2, ..., a_n) = 0$

对于这种交换任何一对指标（操作数）就改变符号的性质，我们叫做：反对称（ANTISYMMETRIC）性。之所以要取不同行不同列元素的乘积，是因为如果有任意两个元素是同行（列）的，那么交换他们的列指标，乘积不变但符号要相反，这乘积必须是0，也就是在行列式的值中不予体现。

https://www.cnblogs.com/sddai/p/5928101.html

单位阵

在线性代数中， $n$ 阶单位矩阵，是一个 $n\times n$ 的方形矩阵，其主对角线元素为1，其余元素为0。单位矩阵以 $I_n$ 表示；如果阶数可忽略，或可由前后文确定的话，也可简记为 $I$ （或者 $E$ ）。（在部分领域中，如量子力学，单位矩阵是以粗体字的1表示，否则无法与 $I$ 作区别。

$I_{1}={\begin{bmatrix}1\end{bmatrix}},\ I_{2}={\begin{bmatrix}1&0\\0&1\end{bmatrix}},\ I_{3}={\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix}},\ \cdots ,\ I_{n}={\begin{bmatrix}1&0&\cdots &0\\0&1&\cdots &0\\\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &1\end{bmatrix}}$

线性方程组

用克莱姆法则解元线性方程组 $A_{n \times n}X_{n \times 1}=B_{n \times 1}$
克莱姆法则：一个含有 $n$ 个未知量和 $n$ 个方程的线性方程组，当系数行列式满足 $ |B| \neq 0$ 时，有且仅有一个解
其中 $C_i|$ 是将 $A$ 的第 $j$ 列换成常数项 $b_1,b_2,...,b_n$ ，而其余列不变的行列式，即

$x_i = \frac{|C_i|}{|A|} = \frac{f(a_1, a_1, ..., B, ... , a_n)}{f(a_1, a_2, ..., a_i, ...,a_n)}$

二次型和正定性

二次型

二次型（quadratic form）： $n$ 个变量的二次多项式称为二次型，即在一个多项式中，未知数的个数为任意多个，但每一项的次数都为 $2$ 的多项式。

二次型是n个变量上的二次齐次多项式。下面给出一个、两个、和三个变量的二次形式：

$q(x)=ax^{2} \\ q(x,y)=ax^{2}+by^{2}+cxy \\ q(x,y,z)=ax^{2}+by^{2}+cz^{2}+dxy+exz+fyz \\$

其中 $a, ..., f$ 是系数。注意一般的二次函数和二次方程不是二次形式的例子，因为它们不总是齐次的。

合同矩阵

在线性代数，特别是二次型理论中，常常用到矩阵间的合同关系。两个矩阵 $A$ 和 $B$ 是合同的，如果有同数域上的可逆矩阵 $P$ ，使得

$A=P^{{\mathrm {T}}}BP$

正定矩阵

一个 $n\times n$ 的实对称矩阵 $M$ 是正定的，当且仅当对于所有的非零实系数向量 $\mathbf {z}$ ，都有 $\mathbf {z} ^{T}M\mathbf {z} >0$ 。

充要条件

一个实对称矩阵 $A$ 正定 $\hArr$ $A$ 与 $C$ 合同，即 $ \exists $ 可逆矩阵 $C$ ，使得 $A = C^T C$ ；

证明二次型 $X^TAX >= 0$ ：

$X^TAX = (CX)^T(CX) = y^Ty = \sum y_i^2 >= 0$

更多参考：https://baike.baidu.com/item/%E6%AD%A3%E5%AE%9A%E7%9F%A9%E9%98%B5?fromModule=lemma_search-box

惯性定理

参考合同矩阵中 $P$ ，对于不同的 $P$ 来说， $B$ 的对角线上的正数和负数都是固定的，其正数的个数为正惯性，其负数的个数为负惯性。

https://blog.youkuaiyun.com/qwertyuiop0208/article/details/124749440

矩阵分解

科列斯基分解

对正定埃尔米特矩阵 $\mathbf{A}$ 进行科列斯基分解，若 $A$ 是正定的且对称的，即求矩阵 $\mathbf {L}$ 使下式成立：

$\mathbf {A} =\mathbf {LL} ^{\mathbf {T} }$

其中， $\mathbf {L}$ 是一个下三角矩阵且所有对角元素均为正实数。

矩阵求逆

若欲对埃尔米特矩阵直接求逆，可以通过科列斯基分解，该方法即便要求逐步计算也非常有效率。：

$A^{-1} = L^{-1} (L^T)^{-1}$

更多应用：https://zh.wikipedia.org/zh-cn/%E7%A7%91%E5%88%97%E6%96%AF%E5%9F%BA%E5%88%86%E8%A7%A3

特征值和特征向量

在数学上，特别是线性代数中，对于一个给定的方阵 $A$ ，它的特征向量（eigenvector，也译固有向量、本征向量） $v$ 经过这个线性变换之后，得到的新向量仍然与原来的 $v$ 保持在同一条直线上，但其长度或方向也许会改变。即

$Av=\lambda v$

$\lambda$ 为标量，即特征向量的长度在该线性变换下缩放的比例，称 $\lambda$ 为其特征值（eigenvalue，也译固有值、本征值）。

特征值分解

令 $A$ 是一个 $N \times N$ 的方阵，且有 $N$ 个线性独立的特征向量 $q_i (i = 1 \dots N)$ 。这样， $A$ 可以被分解为

$\mathbf {A} =\mathbf {Q} \mathbf {\Lambda } \mathbf {Q} ^{-1}}\mathbf{A}=\mathbf{Q}\mathbf{\Lambda}\mathbf{Q}^{-1$

其中 $Q$ 是：

$N \times N$ 方阵
其第 $i$ 列为 $A$ 的 特征向量 $q_i$ 。

其中 $Λ$ 是：

对角矩阵，其对角线上的元素为对应的特征值，也即 $\Lambda_{ii}=\lambda_i$ 。

参考：https://zh.m.wikipedia.org/zh-hans/%E7%89%B9%E5%BE%81%E5%88%86%E8%A7%A3

对特殊矩阵的特征分解

一般我们会把 $Q$ 的这 $n$ 个特征向量标准化如下：

转化 $q_i$ 为标准正交基或者说 $Q$ 为正交矩阵(如对称矩阵)，性质：

$\forall i \neq j$ , $q_i \cdot q_j = 0$
$\forall i$ , $q_i \cdot q_i = 1$

那么：

$\mathbf {A} =\mathbf {Q} \mathbf {\Lambda } \mathbf {Q} ^{-1} = \mathbf {Q} \mathbf {\Lambda } \mathbf {Q} ^{T} \\ = \sum_{i=1}^{n} \lambda_i q_i q_i^T \\ \approx \varLambda_1 q_i q_i^T + \varLambda_2 q_i q_i^T + ...$

其中 $\varLambda_1, \varLambda_2$ 等为较大的几个值。

应用

主要应用于主成分分析、矩阵压缩感知，可将一阶张量变为二阶张量

参考：
https://zh.m.wikipedia.org/zh-hans/%E7%89%B9%E5%BE%81%E5%88%86%E8%A7%A3#:~:text=%E7%BA%BF%E6%80%A7%E4%BB%A3%E6%95%B0%E4%B8%AD%EF%BC%8C%E7%89%B9%E5%BE%81%E5%88%86%E8%A7%A3,%E5%8F%AF%E4%BB%A5%E6%96%BD%E4%BB%A5%E7%89%B9%E5%BE%81%E5%88%86%E8%A7%A3%E3%80%82
https://zhuanlan.zhihu.com/p/31386807