数据挖掘与分析课程笔记

数据挖掘与分析课程笔记

• 参考教材：Data Mining and Analysis : MOHAMMED J.ZAKI, WAGNER MEIRA JR.

---

---

Chapter 1 ：准备

1.1 数据矩阵

Def.1. 数据矩阵是指一个 $(n\times d)$ 的矩阵
$$\mathbf{D}=\left(\begin{array}{ccccc}& X_1& X_2& \cdots & X_d\\ {\mathbf{x}}_1& x_{11}& x_{12}& \cdots & x_{1d}\\ {\mathbf{x}}_2& x_{21}& x_{22}& \cdots & x_{2d}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ {\mathbf{x}}_n& x_{n1}& x_{n2}& \cdots & x_{nd}\end{array}\right)$$
行：实体，列：属性

Ex. 鸢尾花数据矩阵
$$\left(\begin{array}{cccccc}& 萼片长& 萼片宽& 花瓣长& 花瓣宽& 类别\\ & X_1& X_2& X_3& X_4& X_5\\ {\mathbf{x}}_1& 5.9& 3.0& 4.2& 1.5& 云芝\end{array}\right)$$

1.2 属性

Def.2.

• 数值属性 是指取实数值（或整数值）的属性。
• 若数值属性的取值范围是有限集或无限可数集，则称之为离散数值属性。若只有两种取值，则称为二元属性。
• 若数值属性的取值范围不是离散的则称为连续数值属性。

Def.3. 类别属性 是指取值为符号的属性。

1.3 代数与几何的角度

假设 $\mathbf{D}$ 中所有属性均为数值的，即
$${\mathbf{x}}_i={\left(x_{i1},x_{i2},\dots ,x_{id}\right)}^T\in {\mathbb{R}}^d,i=1,\cdots ,n$$
或
$${\mathbf{x}}_j={\left(x_{1j},x_{2j},\dots ,x_{nj}\right)}^T\in {\mathbb{R}}^n,j=1,\cdots ,d$$
☆ 默认向量为列向量。

1.3.1 距离与角度

设 $\mathbf{a},\mathbf{b}\in {\mathbb{R}}^d$ ，

• 点乘：${\mathbf{a}}^T\mathbf{b}=\sum _{i=1}^d{a}_i{b}_i$
• 长度（欧氏范数）：$\left|\mathbf{a}\right|=\sqrt{{\mathbf{a}}^T\mathbf{a}}=\sqrt{\sum _{i=1}^d{a}_i^2}$，单位化：$\frac{\mathbf{a}}{|\mathbf{a}|}$
• 距离：$\delta (\mathbf{a},\mathbf{b})=||\mathbf{a}-\mathbf{b}||=\sqrt{\sum _{i=1}^d(a_i-b_i{)}^2}$
• 角度：$cos\theta =(\frac{\mathbf{a}}{|\mathbf{a}|}{)}^T(\frac{\mathbf{b}}{|\mathbf{b}|})$，即单位化后作点乘
• 正交：$\mathbf{a}$ 与 $\mathbf{b}$ 正交，若 ${\mathbf{a}}^T\mathbf{b}=0$

1.3.2 算术平均与总方差

Def.3.

• 算术平均：$mean(\mathbf{D})=\hat{\mathbf{\mu }}=\frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_i,\in {\mathbb{R}}^d$

• 总方差：$var(\mathbf{D})=\frac{1}{n}\sum _{i=1}^n\delta {\left({\mathbf{x}}_i,\hat{\mathbf{\mu }}\right)}^2$

  自行验证：$var(\mathbf{D})=\frac{1}{n}\sum _{i=1}^n||{\mathbf{x}}_i-\hat{\mathbf{\mu }}|{|}^2=\frac{1}{n}\sum _{i=1}^n||{\mathbf{x}}_i|{|}^2-||\hat{\mathbf{\mu }}|{|}^2$

• 中心数据矩阵：$center(\mathbf{D})=\left(\begin{array}{c}{\mathbf{x}}_1^T-{\hat{\mathbf{\mu }}}^T\\ ⋮\\ {\mathbf{x}}_n^T-{\hat{\mathbf{\mu }}}^T\end{array}\right)$

  显然 $center(\mathbf{D})$ 的算术平均为 $0\in {\mathbb{R}}^d$

1.3.3 正交投影

Def.4. $\mathbf{a},\mathbf{b}\in {\mathbb{R}}^d$，向量 $\mathbf{b}$ 沿向量 $\mathbf{a}$ 方向的正交分解是指，将 $\mathbf{b}$ 写成：$\mathbf{b}=\mathbf{p}+\mathbf{r}$。其中，$\mathbf{p}$ 是指 $\mathbf{b}$ 在 $\mathbf{a}$ 方向上的正交投影，$\mathbf{r}$ 是指 $\mathbf{a}$ 与 $\mathbf{b}$ 之间的垂直距离。

$\mathbf{a}\ne 0,\mathbf{b}\ne 0$

设 $\mathbf{p}=c\cdot \mathbf{a},(c\ne 0,c\in \mathbb{R})$ 则 $\mathbf{r}=\mathbf{b}-\mathbf{p}=\mathbf{b}-c\mathbf{a}$

$0={\mathbf{p}}^T\mathbf{r}=(c\cdot \mathbf{a}{)}^T(\mathbf{b}-c\mathbf{a})=c\cdot ({\mathbf{a}}^T\mathbf{b}-c\cdot {\mathbf{a}}^T\mathbf{a})$

$c=\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}},\mathbf{p}=\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}}\cdot \mathbf{a}$

1.3.4 线性相关性与维数

皆与线性代数相同，自读。

1.4 概率观点

每一个数值属性 $X$ 被视为一个随机变量，即 $X:\mathcal{O}\to \mathbb{R}$，

其中，$\mathcal{O}$ 表示 $X$ 的定义域，即所有实验可能输出的集合，即样本空间。$\mathbb{R}$ ：$X$ 的值域，全体实数。

☆ 注：

• 随机变量是一个函数。
• 若 $\mathcal{O}$ 本身是数值的（即 $\mathcal{O}\subseteq \mathbb{R}$，那么 $X$ 是恒等函数，即 $X(v)=v$
• 若 $X$ 的函数取值范围为有限集或无限可数集，则称之为离散随机变量，反之，为连续随机变量

Def.5. 若 $X$ 是离散的，那么 $X$ 的概率质量函数（probability mass function, PMF）为：
$$\forall x\in \mathbb{R},f(x)=P(X=x)$$
注：$f(x)\ge 0,\sum _{x}f(x)=1$；$f(x)=0$，如果 $x\notin$ ($x$ 的值域)。

Def.6. 若 $X$ 是连续的，那么 $X$ 的概率密度函数（probability density function, PDF）为：
$$P(X\in [a,b])={\int }_a^{b}f(x)dx$$
注：$f(x)\ge 0,{\int }_{-\infty }^{+\infty }f(x)=1$

Def.7. 对任意随机变量 $X$ ，定义累积分布函数（cumulative distributution function, CDF）
$$F:\mathbb{R}\to [0,1],\forall x\in \mathbb{R},F(x)=P(X\le x)$$
若 $X$ 是离散的，$F(x)=\sum _{u\le x}f(u)$

若 $X$ 是连续的，$F(x)={\int }_{-\infty }^{x}f(u)du$

1.4.1 二元随机变量

$\mathbf{X}=\left(\begin{array}{c}{X}_1\\ X_2\end{array}\right),\mathbf{X}:\mathcal{O}\to {\mathbb{R}}^2$ 此处 $X_1$，$X_2$ 分别是两个随机变量。

上课时略去了很多概念，补上。

Def.8. 若 $X_1$ 和 $X_2$ 都是离散，那么 $\mathbf{X}$ 的联合概率质量函数被定义为：
$$f(\mathbf{x})=f(x_1,x_2)=P(X_1=x_1,X_2=x_2)=P(\mathbf{X}=\mathbf{x})$$
注：$f(x)\ge 0,\sum _{x_1}\sum _{x_2}f(x_1,x_2)=1$

Def.9. 若 $X_1$ 和 $X_2$ 都是连续，那么 $\mathbf{X}$ 的联合概率密度函数被定义为：
$$P(\mathbf{X}\in W)=\underset{\mathbf{x}\in W}{\iint }f(\mathbf{x})d\mathbf{x}=\underset{{\left(x_1,x_2\right)}_{\in }^{T}W}{\iint }f\left(x_1,x_2\right)d{x}_{1}d{x}_2$$
其中，$W\subset {\mathbb{R}}^2$，$f(\mathbf{x})\ge 0,\underset{\mathbf{x}\in {\mathbb{R}}^2}{\iint }f(\mathbf{x})d\mathbf{x}=1$

Def.10. $\mathbf{X}$ 的联合累积分布函数 $F$
$$F(x_1,x_2)=P(X_1\le x_1\text{ and }{X}_2\le x_2)=P(\mathbf{X}\le \mathbf{x})$$
Def.11. $X_1$ 和 $X_2$ 是独立的，如果 $\forall W_1\subset \mathbb{R}$ 及 $\forall W_2\subset \mathbb{R}$
$$P(X_1\in W_1\text{ and }{X}_2\in W_2)=P(X_1\in W_1)\cdot (X_2\in W_2)$$
Prop. 如果 $X_1$ 和 $X_2$ 是独立的，那么
$$\begin{gathered} F(x_1,x_2)=F_1(x_1)\cdot F_2(x_2) \\ f(x_1,x_2)=f_1(x_1)\cdot f_2(x_2) \end{gathered}$$
其中 $F_i$ 是 $X_i$ 的累积分布函数，$f_i$ 是 $x_i$ 的 PMF 或 PDF。

1.4.2 多元随机变量

平行推广1.4.1节中的各定义即可。

1.4.3 随机样本与统计量

Def.12. 给定随机变量 $X$ ，来源于 $X$ 的长度为 $n$ 的随机样本是指 $n$ 个独立的且同分布（均与 $X$ 具有同样的 PMF 或 PDF）的随机变量 $S_1,S_2,\cdots ,S_n$。

Def.13. 统计量 $\hat{\theta }$ 被定义为关于随机样本的函数 $\hat{\theta }:(S_1,S_2,\cdots ,S_n)\to \mathbb{R}$

注： $\hat{\theta }$ 本身也是随机变量

Chapter 2：数值属性

关注代数、几何与统计观点。

2.1 一元分析

仅关注一项属性，$\mathbf{D}=\left(\begin{array}{c}X\\ x_1\\ x_2\\ ⋮\\ x_n\end{array}\right),x_i\in \mathbb{R}$

统计： $X$ 可视为（高维）随机变量，$x_i$ 均是恒等随机变量，$x_1,\cdots ,x_n$ 也看作源于 $X$ 的长度为 $n$ 的随机样本。

Def.1. 经验积累分布函数

Def.2. 反积累分布函数

Def.3. 随机变量 $X$ 的经验概率质量函数是指
$$\begin{gathered} \hat{f}(x)=\frac{1}{n}\sum _{i=1}^{n}I\left(x_i=x\right),\forall x_i\in \mathbb{R} \\ I\left(x_i=x\right)=\{\begin{array}{c}1,x_i=x\\ 0,x_i\ne x\end{array} \end{gathered}$$

2.1.1 集中趋势量数

Def.4. 离散随机变量 $X$ 的期望是指：$\mu :=E(X)=\sum _{x}xf(x)$，$f(x)$ 是 $X$ 的PMF

连续随机变量 $X$ 的期望是指：$\mu :=E(X)=\underset{-\infty }{\overset{+\infty }{\int }}xf(x)dx$，$f(x)$ 是 $X$ 的PDF

注：$E(aX+bY)=aE(X)+bE(Y)$

Def.5. $X$ 的样本平均值是指 $\hat{\mu }=\frac{1}{n}\sum _{i=1}^n{x}_i$，注 $\hat{\mu }$ 是 $\mu$ 的估计量

Def.6. 一个估计量（统计量）$\hat{\theta }$ 被称作统计量 $\theta$ 的无偏估计，如果 $E(\hat{\theta })=\theta$

自证：样本平均值 $\hat{\mu }$ 是期望 $\mu$ 的无偏估计量，$E(x_i)=\mu \text{ for all }{x}_i$

Def.7. 一个估计量是稳健的，如果它不会被样本中的极值影响。（样本平均值并不是稳健的。）

Def.8. 随机变量 $X$ 的中位数

Def.9. 随机变量 $X$ 的样本中位数

Def.10. 随机变量 $X$ 的众数， 随机变量 $X$ 的样本众数

2.2.2 离差量数

Def.11. 随机变量 $X$ 的极差与样本极差

Def.12. 随机变量 $X$ 的四分位距，样本的四分位距

Def.13. 随机变量 $X$ 的方差是
$${\sigma }^2=\mathrm{var}(X)=E\left[(X-\mu {)}^2\right]=\{\begin{array}{ll}{\sum }_x(x-\mu {)}^{2}f(x)& \text{ if }X\text{ is discrete }\\ & \\ {\int }_{-\infty }^{\infty }(x-\mu {)}^{2}f(x)dx& \text{ if }X\text{ is continuous }\end{array}$$

标准差 $\sigma$ 是指 ${\sigma }^2$ 的正的平方根。

注：方差是关于期望的第二阶动差，$r$ 阶动差是指 $E[(x-\mu {)}^r]$。

性质：

1. ${\sigma }^2=E(X^2)-{\mu }^2=E(X^2)-[E(X){]}^2$
2. $var(X_1+X_2)=var(X_1)+var(X_2)$，$X_1,X_2$ 独立

Def.14. 样本方差是 ${\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n{\left(x_i-\hat{\mu }\right)}^2$，底下非 $n-1$

样本方差的几何意义：考虑中心化数据矩阵
$$\begin{gathered} C:=\left(\begin{array}{c}{x}_1-\hat{\mu }\\ x_2-\hat{\mu }\\ ⋮\\ x_n-\hat{\mu }\end{array}\right) \\ n\cdot {\hat{\sigma }}^2=\sum _{i=1}^n{\left(x_i-\hat{\mu }\right)}^2=||C|{|}^2 \end{gathered}$$
问题：$X$ 的样本平均数的期望与方差？
$$E(\hat{\mu })=E(\frac{1}{n}\sum _{i=1}^n{x}_i)=\frac{1}{n}\sum _{i=1}^{n}E(x_i)=\frac{1}{n}\sum _{i=1}^n\mu =\mu$$
方差有两种方法：第一种直接展开，第二种：运用 $x_1,\cdots ,x_n$ 独立同分布：
$$var(\sum _{i=1}^n{x}_i))=\sum _{i=1}^{n}var(x_i)=n\cdot {\sigma }^2⟹var(\hat{\mu })=\frac{{\sigma }^2}{n}$$
注：样本方差是有偏估计，因为：$E({\sigma }^2)=(\frac{n-1}{n}){\sigma }^2\stackrel{n\to +\infty }{\to }{\sigma }^2$

2.2 二元分析

略

2.3 多元分析

$$\mathbf{D}=\left(\begin{array}{ccccc}& X_1& X_2& \cdots & X_d\\ {\mathbf{x}}_1& x_{11}& x_{12}& \cdots & x_{1d}\\ {\mathbf{x}}_2& x_{21}& x_{22}& \cdots & x_{2d}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ {\mathbf{x}}_n& x_{n1}& x_{n2}& \cdots & x_{nd}\end{array}\right)$$

可视为：$\mathbf{X}=(X_1,\cdots ,X_d{)}^T$

Def.15. 对于随机变量向量 $\mathbf{X}$，其期望向量为：$E[\mathbf{X}]=\left(\begin{array}{c}E\left[X_1\right]\\ E\left[X_2\right]\\ ⋮\\ E\left[X_d\right]\end{array}\right)$

样本平均值为：$\hat{\mathbf{\mu }}=\frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_i,(=mean(\mathbf{D}))\in {\mathbb{R}}^d$

Def.16. 对于 $X_1,X_2$，定义协方差 ${\sigma }_{12}=E[(X_1-E(X_1))(X_2-E(X_2)]=E(X_1{X}_2)-E(X_1)E(X_2)$

Remark:

1. ${\sigma }_{12}={\sigma }_{21}$
2. 若两者独立，则 ${\sigma }_{12}=0$

Def.17. 对于随机变量向量 $\mathbf{X}=(X_1,\cdots ,X_d{)}^T$，定义协方差矩阵：
$$\mathbf{\Sigma }=E\left[(\mathbf{X}-\mathbf{\mu })(\mathbf{X}-\mathbf{\mu }{)}^T\right]={\left(\begin{array}{cccc}{\sigma }_1^2& {\sigma }_{12}& \cdots & {\sigma }_{1d}\\ {\sigma }_{21}& {\sigma }_2^2& \cdots & {\sigma }_{2d}\\ \cdots & \cdots & \cdots & \cdots \\ {\sigma }_{d1}& {\sigma }_{d2}& \cdots & {\sigma }_d^2\end{array}\right)}_{d\times d}$$
其为对称矩阵，定义 $\mathbf{X}$ 的广义方差为 $det(\mathbf{\Sigma })$

注：

1. $\mathbf{\Sigma }$ 是实对称矩阵且半正定，即所有特征值非负，${\lambda }_1\ge {\lambda }_2\cdots \ge {\lambda }_d\ge 0$
2. $var(\mathbf{D})=tr(\Sigma )={\sigma }_1^2+\cdots +{\sigma }_d^2$

Def.18. 对于 $\mathbf{X}=(X_1,\cdots ,X_d{)}^T$，定义样本协方差矩阵
$$\hat{\mathbf{\Sigma }}=\frac{1}{n}\left({\mathbf{Z}}^T\mathbf{Z}\right)=\frac{1}{n}{\left(\begin{array}{cccc}{Z}_1^T{Z}_1& Z_1^T{Z}_2& \cdots & Z_1^T{Z}_d\\ Z_2^T{Z}_1& Z_2^T{Z}_2& \cdots & Z_2^T{Z}_d\\ ⋮& ⋮& \ddots & ⋮\\ Z_d^T{Z}_1& Z_d^T{Z}_2& \cdots & Z_d^T{Z}_d\end{array}\right)}_{d\times d}$$
其中
$$\mathbf{Z}=\mathbf{D}-1\cdot {\hat{\mathbf{\mu }}}^T=\left(\begin{array}{c}{\mathbf{x}}_1^T-{\hat{\mathbf{\mu }}}^T\\ {\mathbf{x}}_2^T-{\hat{\mathbf{\mu }}}^T\\ ⋮\\ {\mathbf{x}}_n^T-{\hat{\mathbf{\mu }}}^T\end{array}\right)=\left(\begin{array}{ccc}-& {\mathbf{z}}_1^T& -\\ -& {\mathbf{z}}_2^T& -\\ & ⋮& \\ -& {\mathbf{z}}_n^T& -\end{array}\right)=\left(\begin{array}{cccc}\mid & \mid & & \mid \\ Z_1& Z_2& \cdots & Z_d\\ \mid & \mid & & \mid \end{array}\right)$$

样本总方差是 $tr(\hat{\mathbf{\Sigma }})$，广义样本方差是 $det(\hat{\mathbf{\Sigma }})\ge 0$

$\hat{\mathbf{\Sigma }}=\frac{1}{n}\sum _{i=1}^n{\mathbf{z}}_i{\mathbf{z}}_i^T$

Chapter 5 Kernel Method：核方法

Example 5.1 略，$\varphi (核映射):{\Sigma }^{\ast }(输入空间)\to {\mathbb{R}}^4(特征空间)$

Def.1. 假设核映射 $\varphi :\mathcal{I}\to \mathcal{F}$，$\varphi$ 的核函数是指 $K:\mathcal{I}\times \mathcal{I}\to \mathbb{R}$ 使得 $\forall ({\mathbf{x}}_i,{\mathbf{x}}_j)\in \mathcal{I}\times \mathcal{I},K({\mathbf{x}}_i,{\mathbf{x}}_j)={\varphi }^T({\mathbf{x}}_i)\varphi ({\mathbf{x}}_j)$

Example 5.2 设 $\varphi :{\mathbb{R}}^2\to {\mathbb{R}}^3$ 使得 $\forall \mathbf{a}=(a_1，a_2),\varphi (\mathbf{a})=(a_1^2,a_2^2,\sqrt{2}{a}_1{a}_2{)}^T$

注意到 $K(\mathbf{a},\mathbf{b})=\varphi (\mathbf{a}{)}^T\varphi (\mathbf{b})=a_1^2{b}_1^2+a_2^2{b}_2^2+2a_1^2{a}_2^2{b}_1^2{b}_2^2$，$K:{\mathbb{R}}^2\times {\mathbb{R}}^2\to \mathbb{R}$

Remark：

1. 分析复杂数据
2. 分析非线性特征（知乎搜核函数有什么作用）

Goal：在未知 $\varphi$ 的情况下，通过分析 $K$ 来分析特征空间 $\mathcal{F}$ 结果。

5.1 核矩阵

设 D = { x 1 , x 2 , … , x n } ⊂ I \mathbf{D}=\left\{\mathbf{x}_{1}, \mathbf{x}_{2}, \ldots, \mathbf{x}_{n}\right\} \subset \mathcal{I} D={x1​,x2​,…,xn​}⊂I，其核矩阵定义为：$\mathbf{K}=[K({\mathbf{x}}_i,{\mathbf{x}}_j){]}_{n\times n}$

Prop. 核矩阵 $\mathbf{K}$ 是对称的且半正定的

Proof. $K({\mathbf{x}}_i,{\mathbf{x}}_j)={\varphi }^T({\mathbf{x}}_i)\varphi ({\mathbf{x}}_j)={\varphi }^T({\mathbf{x}}_j)\varphi ({\mathbf{x}}_i)=K({\mathbf{x}}_j,{\mathbf{x}}_i)$，故对称。

对于 $\forall {\mathbf{a}}^T\in {\mathbb{R}}^n$，
$$\begin{array}{rl}{\mathbf{a}}^T\mathbf{K}\mathbf{a}& =\sum _{i=1}^n\sum _{j=1}^n{a}_i{a}_{j}K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\\ & =\sum _{i=1}^n\sum _{j=1}^n{a}_i{a}_j\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)\\ & ={\left(\sum _{i=1}^n{a}_i\varphi \left({\mathbf{x}}_i\right)\right)}^T\left(\sum _{j=1}^n{a}_j\varphi \left({\mathbf{x}}_j\right)\right)\\ & ={\Vert \sum _{i=1}^n{a}_i\varphi \left({\mathbf{x}}_i\right)\Vert }^2\ge 0\end{array}$$

5.1.1 核映射的重构

”经验核映射“

已知 D = { x i } i = 1 n ⊂ I \mathbf{D}=\left\{\mathbf{x}_{i}\right\}_{i=1}^{n} \subset \mathcal{I} D={xi​}i=1n​⊂I 与核矩阵 $\mathbf{K}$

目标：寻找 $\varphi :\mathcal{I}\to \mathcal{F}\subset {\mathbb{R}}^n$

首先尝试：$\forall \mathbf{x}\in \mathcal{I},\varphi (\mathbf{x})={\left(K\left({\mathbf{x}}_1,\mathbf{x}\right),K\left({\mathbf{x}}_2,\mathbf{x}\right),\dots ,K\left({\mathbf{x}}_n,\mathbf{x}\right)\right)}^T\in {\mathbb{R}}^n$

检查：${\varphi }^T({\mathbf{x}}_i)\varphi ({\mathbf{x}}_j)?=K({\mathbf{x}}_i,{\mathbf{x}}_j)$

左边 $=\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)=\sum _{k=1}^{n}K\left({\mathbf{x}}_k,{\mathbf{x}}_i\right)K\left({\mathbf{x}}_k,{\mathbf{x}}_j\right)={\mathbf{K}}_i^T{\mathbf{K}}_j$，${\mathbf{K}}_i$ 代表第 $i$ 行或列要求太高。

考虑改进：寻找矩阵 $\mathbf{A}$ 使得，${\mathbf{K}}_i^T\mathbf{A}{\mathbf{K}}_j=\mathbf{K}\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)$，即 ${\mathbf{K}}^T\mathbf{A}\mathbf{K}=\mathbf{K}$

故只需取 $\mathbf{A}={\mathbf{K}}^{-1}$ 即可（ $\mathbf{K}$ 可逆）

若 $\mathbf{K}$ 正定，${\mathbf{K}}^{-1}$ 也正定，即存在一个实矩阵 $\mathbf{B}$ 满足 ${\mathbf{K}}^{-1}={\mathbf{B}}^T\mathbf{B}$

故经验核函数可定义为：
$$\varphi (\mathbf{x})=\mathbf{B}\cdot {\left(K\left({\mathbf{x}}_1,\mathbf{x}\right),K\left({\mathbf{x}}_2,\mathbf{x}\right),\dots ,K\left({\mathbf{x}}_n,\mathbf{x}\right)\right)}^T$$
检查：${\varphi }^T({\mathbf{x}}_i)\varphi ({\mathbf{x}}_j)=(\mathbf{B}{\mathbf{K}}_i{)}^T(\mathbf{B}{\mathbf{K}}_j)={\mathbf{K}}_i^T{\mathbf{K}}^{-1}{\mathbf{K}}_j=({\mathbf{K}}^T{\mathbf{K}}^{-1}\mathbf{K}{)}_{i,j}=K({\mathbf{x}}_i,{\mathbf{x}}_j)$

5.1.2 特定数据的海塞核映射

对于对称半正定矩阵 ${\mathbf{K}}_{n\times n}$，存在分解
$$\mathbf{K}=\mathbf{U}\left(\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right){\mathbf{U}}^T=\mathbf{U}\mathbf{\Lambda }{\mathbf{U}}^T$$
${\lambda }_i$ 为特征值，$\mathbf{U}=\left(\begin{array}{cccc}\mid & \mid & & \mid \\ {\mathbf{u}}_1& {\mathbf{u}}_2& \cdots & {\mathbf{u}}_n\\ \mid & \mid & & \mid \end{array}\right)$ 为单位正交矩阵，${\mathbf{u}}_i={\left(u_{i1},u_{i2},\dots ,u_{in}\right)}^T\in {\mathbb{R}}^n$ 为特征向量，即
$$\begin{gathered} \mathbf{K}={\lambda }_1{\mathbf{u}}_1{\mathbf{u}}_1^T+{\lambda }_2{\mathbf{u}}_2{\mathbf{u}}_2^T+\cdots +{\lambda }_n{\mathbf{u}}_n{\mathbf{u}}_n^T \\ \begin{array}{rl}\mathbf{K}\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)& ={\lambda }_1{u}_{1i}{u}_{1j}+{\lambda }_2{u}_{2i}{u}_{2j}\cdots +{\lambda }_n{u}_{ni}{u}_{nj}\\ & =\sum _{k=1}^n{\lambda }_k{u}_{ki}{u}_{kj}\end{array} \end{gathered}$$
定义海塞映射：
$$\forall {\mathbf{x}}_i\in \mathbf{D},\varphi \left({\mathbf{x}}_i\right)={\left(\sqrt{{\lambda }_1}{u}_{1i},\sqrt{{\lambda }_2}{u}_{2i},\dots ,\sqrt{{\lambda }_n}{u}_{ni}\right)}^T$$
检查：
$$\begin{array}{rl}\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)& =\left(\sqrt{{\lambda }_1}{u}_{1i},\dots ,\sqrt{{\lambda }_n}{u}_{ni}\right){\left(\sqrt{{\lambda }_1}{u}_{1j},\dots ,\sqrt{{\lambda }_n}{u}_{nj}\right)}^T\\ & ={\lambda }_1{u}_{1i}{u}_{1j}+\cdots +{\lambda }_n{u}_{ni}{u}_{nj}=K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\end{array}$$
注意：海塞映射中仅对 $\mathbf{D}$ 中的数 ${\mathbf{x}}_i$ 有定义。

5.2 向量核函数

${\mathbb{R}}^d\times {\mathbb{R}}^d\to \mathbb{R}$

典型向量核函数：多项式核

$\forall \mathbf{x},\mathbf{y}\in {\mathbb{R}}^d,K_q(\mathbf{x},\mathbf{y})=\varphi (\mathbf{x}{)}^T\varphi (\mathbf{y})={\left({\mathbf{x}}^T\mathbf{y}+c\right)}^q$，其中 $c\ge 0$

若 $c=0$，齐次，否则为非齐次。

问题：构造核映射 $\varphi :{\mathbb{R}}^d\to \mathcal{F}$，使得 $K_q(\mathbf{x},\mathbf{y})=\varphi (\mathbf{x}{)}^T\varphi (\mathbf{y})$

注：$q=1,c=0,\varphi (\mathbf{x})=\mathbf{x}$

示例：$q=2,d=2$

高斯核自读

5.3 特征空间中基本核运算

$\varphi :\mathcal{I}\to \mathcal{F},K:\mathcal{I}\times \mathcal{I}\to \mathbb{R}$

• 向量长度：$\Vert \varphi (\mathbf{x}){\Vert }^2=\varphi (\mathbf{x}{)}^T\varphi (\mathbf{x})=K(\mathbf{x},\mathbf{x})$

• 距离：
  $$\begin{array}{rl}{\Vert \varphi \left({\mathbf{x}}_i\right)-\varphi \left({\mathbf{x}}_j\right)\Vert }^2& ={\Vert \varphi \left({\mathbf{x}}_i\right)\Vert }^2+{\Vert \varphi \left({\mathbf{x}}_j\right)\Vert }^2-2\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)\\ & =K\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)+K\left({\mathbf{x}}_j,{\mathbf{x}}_j\right)-2K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\end{array}$$

$2K\left(\mathbf{x},\mathbf{y}\right)={\Vert \varphi \left(\mathbf{x}\right)\Vert }^2+{\Vert \varphi \left(\mathbf{y}\right)\Vert }^2-{\Vert \varphi \left(\mathbf{x}\right)-\varphi \left(\mathbf{y}\right)\Vert }^2$

代表 $\varphi \left(\mathbf{x}\right)$ 与 $\varphi \left(\mathbf{y}\right)$ 的相似度

• 平均值：${\mathbf{\mu }}_{\varphi }=\frac{1}{n}\sum _{i=1}^n\varphi \left({\mathbf{x}}_i\right)$
  $$\begin{array}{rl}{\Vert {\mathbf{\mu }}_{\varphi }\Vert }^2& ={\mathbf{\mu }}_{\varphi }^T{\mathbf{\mu }}_{\varphi }\\ & ={\left(\frac{1}{n}\sum _{i=1}^n\varphi \left({\mathbf{x}}_i\right)\right)}^T\left(\frac{1}{n}\sum _{j=1}^n\varphi \left({\mathbf{x}}_j\right)\right)\\ & =\frac{1}{n^2}\sum _{i=1}^n\sum _{j=1}^n\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)\\ & =\frac{1}{n^2}\sum _{i=1}^n\sum _{j=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\end{array}$$

• 总方差：${\sigma }_{\varphi }^2=\frac{1}{n}\sum _{i=1}^n{\Vert \varphi \left({\mathbf{x}}_i\right)-{\mathbf{\mu }}_{\varphi }\Vert }^2$，$\forall {\mathbf{x}}_i$
  $$\begin{array}{rl}{\Vert \varphi \left({\mathbf{x}}_i\right)-{\mathbf{\mu }}_{\varphi }\Vert }^2& ={\Vert \varphi \left({\mathbf{x}}_i\right)\Vert }^2-2\varphi {\left({\mathbf{x}}_i\right)}^T{\mathbf{\mu }}_{\varphi }+{\Vert {\mathbf{\mu }}_{\varphi }\Vert }^2\\ & =K\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)-\frac{2}{n}\sum _{j=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)+\frac{1}{n^2}\sum _{s=1}^n\sum _{t=1}^{n}K\left({\mathbf{x}}_s,{\mathbf{x}}_t\right)\end{array}$$

  $$\begin{array}{rl}{\sigma }_{\varphi }^2& =\frac{1}{n}\sum _{i=1}^n{\Vert \varphi \left({\mathbf{x}}_i\right)-{\mathbf{\mu }}_{\varphi }\Vert }^2\\ & =\frac{1}{n}\sum _{i=1}^n\left(K\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)-\frac{2}{n}\sum _{j=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)+\frac{1}{n^2}\sum _{s=1}^n\sum _{t=1}^{n}K\left({\mathbf{x}}_s,{\mathbf{x}}_t\right)\right)\\ & =\frac{1}{n}\sum _{i=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)-\frac{2}{n^2}\sum _{i=1}^n\sum _{j=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)+\frac{1}{n^2}\sum _{s=1}^n\sum _{t=1}^{n}K\left({\mathbf{x}}_s,{\mathbf{x}}_t\right)\\ & =\frac{1}{n}\sum _{i=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)-\frac{1}{n^2}\sum _{i=1}^n\sum _{j=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\end{array}$$

  $\frac{1}{n}\sum _{i=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)$ 是 $\mathbf{K}$ 对角线平均值，$\frac{1}{n^2}\sum _{i=1}^n\sum _{j=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)$ 是 $\mathbf{K}$ 所有元的平均值。

• 中心化核矩阵：令 $\hat{\varphi }\left({\mathbf{x}}_i\right)=\varphi \left({\mathbf{x}}_i\right)-{\mathbf{\mu }}_{\varphi }$

  中心核函数 $\hat{K}\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\hat{\varphi }{\left({\mathbf{x}}_i\right)}^T\hat{\varphi }\left({\mathbf{x}}_j\right)$
  $$\begin{array}{rl}\hat{K}\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)& ={\left(\varphi \left({\mathbf{x}}_i\right)-{\mathbf{\mu }}_{\varphi }\right)}^T\left(\varphi \left({\mathbf{x}}_j\right)-{\mathbf{\mu }}_{\varphi }\right)\\ & =\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)-\varphi {\left({\mathbf{x}}_i\right)}^T{\mathbf{\mu }}_{\varphi }-\varphi {\left({\mathbf{x}}_j\right)}^T{\mathbf{\mu }}_{\varphi }+{\mathbf{\mu }}_{\varphi }^T{\mathbf{\mu }}_{\varphi }\\ & =K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)-\frac{1}{n}\sum _{k=1}^n\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_k\right)-\frac{1}{n}\sum _{k=1}^n\varphi {\left({\mathbf{x}}_j\right)}^T\varphi \left({\mathbf{x}}_k\right)+{\Vert {\mathbf{\mu }}_{\varphi }\Vert }^2\\ & =K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)-\frac{1}{n}\sum _{k=1}^{n}K\left({\mathbf{x}}_i,{\mathbf{x}}_k\right)-\frac{1}{n}\sum _{k=1}^{n}K\left({\mathbf{x}}_j,{\mathbf{x}}_k\right)+\frac{1}{n^2}\sum _{s=1}^n\sum _{t=1}^{n}K\left({\mathbf{x}}_s,{\mathbf{x}}_t\right)\end{array}$$
  故
  $$\begin{array}{rl}\hat{\mathbf{K}}& =\mathbf{K}-\frac{1}{n}{1}_{n\times n}\mathbf{K}-\frac{1}{n}\mathbf{K}{1}_{n\times n}+\frac{1}{n^2}{1}_{n\times n}\mathbf{K}{1}_{n\times n}\\ & =\left(\mathbf{I}-\frac{1}{n}{1}_{n\times n}\right)\mathbf{K}\left(\mathbf{I}-\frac{1}{n}{1}_{n\times n}\right)\end{array}$$
  注意：$1_{n\times n}$ 为全1矩阵，左乘之后每个元素为之前所在列的列和，右乘之和每个元素为之前所在行的行和，左右都乘之后每个元素即为原来所以元素之后。

• 归一化核矩阵

  ${\mathbf{K}}_n\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\frac{\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)}{\Vert \varphi \left({\mathbf{x}}_i\right)\Vert \cdot \Vert \varphi \left({\mathbf{x}}_j\right)\Vert }=\frac{K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)}{\sqrt{K\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)\cdot K\left({\mathbf{x}}_j,{\mathbf{x}}_j\right)}}$

  令 $\mathbf{W}=\mathrm{diag}(\mathbf{K})=\left(\begin{array}{cccc}K\left({\mathbf{x}}_1,{\mathbf{x}}_1\right)& 0& \cdots & 0\\ 0& K\left({\mathbf{x}}_2,{\mathbf{x}}_2\right)& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & K\left({\mathbf{x}}_n,{\mathbf{x}}_n\right)\end{array}\right)$，则 ${\mathbf{W}}^{-1/2}\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)=\frac{1}{\sqrt{K\left({\mathbf{x}}_i,{\mathbf{x}}_i\right)}}$，

  ${\mathbf{K}}_n={\mathbf{W}}^{-1/2}\cdot \mathbf{K}\cdot {\mathbf{W}}^{-1/2}$

  矩阵左乘右乘对角阵的性质。

5.4 复杂对象的核

5.4.1 字串的谱核

考虑字符集 $\Sigma$ （有限），定义 $l$-谱特征映射：
$${\varphi }_l:{\Sigma }^{\ast }\to {\mathbb{R}}^{|\Sigma {|}^l},\forall \mathbf{x}\in {\Sigma }^{\ast },{\varphi }_l(\mathbf{x})={\left(\cdots ,\#(\alpha ),\cdots \right)}^T$$
其中 $\#(\alpha )$ 代表长度为 $l$ 的子字串在 $\mathbf{x}$ 中出现的次数。

$l$-谱核函数：${\mathbf{K}}_l:{\Sigma }^{\ast }\times {\Sigma }^{\ast }\to \mathbb{R}$，${\mathbf{K}}_l(\mathbf{x},\mathbf{y})={\varphi }_l(\mathbf{x}{)}^T{\varphi }_l(\mathbf{y})$

谱核函数：计算 $l=0$ 到 $l=\infty$

5.4.2 图顶点的扩散核

• 图：图 $G=(V,E)$ 是指一个集合对，其中 V = { v 1 , ⋯   , v n } V=\{v_1,\cdots,v_n\} V={v1​,⋯,vn​} 为顶点集， E = { ( v i , v j ) } E=\{(v_i,v_j)\} E={(vi​,vj​)} 为边集。现只考虑无向简单（没有自己到自己的边）图。

• 邻接矩阵：图的邻接矩阵 $A(G):=[A_{ij}{]}_{n\times n}$，其中 $A_{ij}=\{\begin{array}{c}1,(v_i,v_j)\in E\\ 0,(v_i,v_j)\notin E\end{array}$

• 度矩阵：$\Delta (G):=diag(d_1,\cdots ,d_n)$，其中 $d_i$ 代表顶点 $v_i$ 的度，即与 $v_i$ 相连的边的数目。

• 拉普拉斯矩阵：$L(G):=A(G)-\Delta (G)$

  负拉普拉斯矩阵：$L(G):=-L(G)$

  它们是实对称

常用图的对称相似性矩阵 $\mathbf{S}$ 是指 $A(G)$，$L(G)$ 或 $-L(G)$。

问题：如何定义图顶点的核函数？（ $\mathbf{S}$ 并不一定是半正定）

- 幂核函数

以 ${\mathbf{S}}^t$ 作为核矩阵， $\mathbf{S}$ 是对称的，$t$ 为正整数

考虑 ${\mathbf{S}}^2$：${\mathbf{S}}^2(x_i,x_j)=\sum _{k=1}^n{S}_{ik}{S}_{kj}$

此公式说明 ${\mathbf{S}}^2$ ( ${\mathbf{S}}^l$) 的几何意义：顶点间长度为 $2$ $(l)$ 的路径，描述顶点的相似性。

考虑 ${\mathbf{S}}^l$ 的特征值：设 $\mathbf{S}$ 的特征值为 ${\lambda }_1,\cdots ,{\lambda }_n\in \mathbb{R}$，则
$$\mathbf{S}=\mathbf{U}\left(\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right){\mathbf{U}}^T=\sum _{i=1}^n{\lambda }_i{\mathbf{u}}_i{\mathbf{u}}_i^T$$
其中 $\mathbf{U}$ 是以相应特征向量为列的正交矩阵，$\mathbf{U}=\left(\begin{array}{cccc}\mid & \mid & & \mid \\ {\mathbf{u}}_1& {\mathbf{u}}_2& \cdots & {\mathbf{u}}_n\\ \mid & \mid & & \mid \end{array}\right)$
$${\mathbf{S}}^l=\mathbf{U}\left(\begin{array}{cccc}{\lambda }_1^l& 0& \cdots & 0\\ 0& {\lambda }_2^l& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n^l\end{array}\right){\mathbf{U}}^T$$
${\lambda }_1^l,\cdots ,{\lambda }_n^l$ 是 ${\mathbf{S}}^l$ 的特征值。

故若 $l$ 是偶数，${\mathbf{S}}^l$ 半正定。

- 指数扩散核函数

以 $\mathbf{K}:=e^{\beta \mathbf{S}}$ 为核矩阵，其中 $\beta >0$ 为阻尼系数。（泰勒展开：$e^{\beta x}=\sum _{l=0}^{\infty }\frac{1}{l!}{\beta }^l{x}^l$）
$$\begin{array}{rl}{e}^{\beta \mathbf{S}}& =\sum _{l=0}^{\infty }\frac{1}{l!}{\beta }^{\prime }{\mathbf{S}}^l\\ & =\mathbf{I}+\beta \mathbf{S}+\frac{1}{2!}{\beta }^2{\mathbf{S}}^2+\frac{1}{3!}{\beta }^3{\mathbf{S}}^3+\cdots \\ & =\left(\sum _{i=1}^n{\mathbf{u}}_i{\mathbf{u}}_i^T\right)+\left(\sum _{i=1}^n{\mathbf{u}}_i\beta {\lambda }_i{\mathbf{u}}_i^T\right)+\left(\sum _{i=1}^n{\mathbf{u}}_i\frac{1}{2!}{\beta }^2{\lambda }_i^2{\mathbf{u}}_i^T\right)+\cdots \\ & =\sum _{i=1}^n{\mathbf{u}}_i\left(1+\beta {\lambda }_i+\frac{1}{2!}{\beta }^2{\lambda }_i^2+\cdots \right){\mathbf{u}}_i^T\\ & =\sum _{i=1}^n{\mathbf{u}}_i{e}^{\beta {\lambda }_i}{\mathbf{u}}_i^T\\ & =\mathbf{U}\left(\begin{array}{cccc}{e}^{\beta {\lambda }_1}& 0& \cdots & 0\\ 0& e^{\beta {\lambda }_2}& \cdots & 0\\ ⋮& ⋮& \ddots & 0\\ 0& 0& \cdots & e^{\beta {\lambda }_n}\end{array}\right){\mathbf{U}}^T\end{array}$$
故 $\mathbf{K}$ 的特征值 $e^{\beta {\lambda }_1},\cdots ,e^{\beta {\lambda }_n}$ 完全非负， $\mathbf{K}$ 为半正定。

- 纽因曼扩散核函数

以 $\mathbf{K}=\sum _{l=0}^{\infty }{\beta }^l{\mathbf{S}}^l$ 为核矩阵，注意到
$$\begin{array}{rl}\mathbf{K}& =\mathbf{I}+\beta \mathbf{S}+{\beta }^2{\mathbf{S}}^2+{\beta }^3{\mathbf{S}}^3+\cdots \\ & =\mathbf{I}+\beta \mathbf{S}\left(\mathbf{I}+\beta \mathbf{S}+{\beta }^2{\mathbf{S}}^2+\cdots \right)\\ & =\mathbf{I}+\beta \mathbf{S}\mathbf{K}\end{array}$$
故
$$\begin{array}{rl}\mathbf{K}-\beta \mathbf{S}\mathbf{K}& =\mathbf{I}\\ (\mathbf{I}-\beta \mathbf{S})\mathbf{K}& =\mathbf{I}\\ \mathbf{K}& =(\mathbf{I}-\beta \mathbf{S}{)}^{-1}\end{array}$$
在 $\mathbf{I}-\beta \mathbf{S}$ 可逆的前提下
$$\begin{array}{rl}\mathbf{K}& ={\left(\mathbf{U}{\mathbf{U}}^T-\mathbf{U}(\beta \mathbf{\Lambda }){\mathbf{U}}^T\right)}^{-1}\\ & ={\left(\mathbf{U}(\mathbf{I}-\beta \mathbf{\Lambda }){\mathbf{U}}^T\right)}^{-1}\\ & =\mathbf{U}(\mathbf{I}-\beta \mathbf{\Lambda }{)}^{-1}{\mathbf{U}}^T\\ & =\mathbf{U}\left(\begin{array}{cccc}\frac{1}{1-\beta {\lambda }_1}& 0& \cdots & 0\\ 0& \frac{1}{1-\beta {\lambda }_2}& \cdots & 0\\ ⋮& ⋮& \ddots & 0\\ 0& 0& \cdots & \frac{1}{1-\beta {\lambda }_n}\end{array}\right){\mathbf{U}}^T\end{array}$$
要想其半正定，故有：
$$\begin{array}{rl}{\left(1-\beta {\lambda }_i\right)}^{-1}& \ge 0\\ 1-\beta {\lambda }_i& \ge 0\\ \beta {\lambda }_i& \le 1\end{array}$$

Chapter 7：降维

PCA：主元分析

7.1 背景

$$\mathbf{D}=\left(\begin{array}{ccccc}& X_1& X_2& \cdots & X_d\\ {\mathbf{x}}_1& x_{11}& x_{12}& \cdots & x_{1d}\\ {\mathbf{x}}_2& x_{21}& x_{22}& \cdots & x_{2d}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ {\mathbf{x}}_n& x_{n1}& x_{n2}& \cdots & x_{nd}\end{array}\right)$$

对象：${\mathbf{x}}_1^T,\cdots ,{\mathbf{x}}_n^T\in {\mathbb{R}}^d$，$\forall \mathbf{x}\in {\mathbb{R}}^d,$ 设 $\mathbf{x}=(x_1,\cdots ,x_d{)}^T=\sum _{i=1}^d{x}_i{\mathbf{e}}_i$

其中，${\mathbf{e}}_i=(0,\cdots ,1,\cdots ,0{)}^T\in {\mathbb{R}}^d$，i-坐标

设另有单位正交基 { u } i = 1 n \{\mathbf{u}\}_{i=1}^n {u}i=1n​，$\mathbf{x}=\sum _{i=1}^d{a}_i{\mathbf{u}}_i,a_i\in \mathbb{R}$，${\mathbf{u}}_i^T{\mathbf{u}}_j=\{\begin{array}{c}1,i=j\\ 0,i\ne j\end{array}$

$\forall r:1\le r\le d,\mathbf{x}=\underset{\text{投影}}{\underbrace{a_1{\mathbf{u}}_1+\cdots +a_r{\mathbf{u}}_r}}+\underset{\text{误差}}{\underbrace{a_{r+1}{\mathbf{u}}_{r+1}+\cdots +a_d{\mathbf{u}}_d}}$

前 $r$ 项是投影，后面是投影误差。

目标：对于给定 $D$，寻找最优 { u } i = 1 n \{\mathbf{u}\}_{i=1}^n {u}i=1n​，使得 $D$ 在其前 $r$ 维子空间的投影是对 $D$ 的“最佳近似”，即投影之后“误差最小”。

7.2 主元分析：

7.2.1 最佳直线近似

（一阶主元分析）（r=1）

目标：寻找 ${\mathbf{u}}_1$，不妨记为 $\mathbf{u}=(u_1,\cdots ,u_d{)}^T$。

假设：$||\mathbf{u}||={\mathbf{u}}^T\mathbf{u}=1$，$\hat{\mathbf{\mu }}=\frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_i=0,\in {\mathbb{R}}^d$

$\forall {\mathbf{x}}_i(i=1,\cdots ,n)$，${\mathbf{x}}_i$ 沿 $\mathbf{u}$ 方向投影是：
$${\mathbf{x}}_i^{\prime }=\left(\frac{{\mathbf{u}}^T{\mathbf{x}}_i}{{\mathbf{u}}^T\mathbf{u}}\right)\mathbf{u}=\left({\mathbf{u}}^T{\mathbf{x}}_i\right)\mathbf{u}=a_i\mathbf{u},a_i={\mathbf{u}}^T{\mathbf{x}}_i$$
$\hat{\mathbf{\mu }}=0\Rightarrow$ $\hat{\mathbf{\mu }}$ 在 $\mathbf{u}$ 上投影是0；${\mathbf{x}}_1^{\prime },\cdots ,{\mathbf{x}}_n^{\prime }$ 的平均值为0 。

$Proj(mean(D))=meanProj(D)$

考察 ${\mathbf{x}}_1^{\prime },\cdots ,{\mathbf{x}}_n^{\prime }$ 沿 $\mathbf{u}$ 方向的样本方差：
$$\begin{array}{rl}{\sigma }_{\mathbf{u}}^2& =\frac{1}{n}\sum _{i=1}^n{\left(a_i-{\mu }_{\mathbf{u}}\right)}^2\\ & =\frac{1}{n}\sum _{i=1}^n{\left({\mathbf{u}}^T{\mathbf{x}}_i\right)}^2\\ & =\frac{1}{n}\sum _{i=1}^n{\mathbf{u}}^T\left({\mathbf{x}}_i{\mathbf{x}}_i^T\right)\mathbf{u}\\ & ={\mathbf{u}}^T\left(\frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_i{\mathbf{x}}_i^T\right)\mathbf{u}\\ & ={\mathbf{u}}^T\mathbf{\Sigma }\mathbf{u}\end{array}$$
$\mathbf{\Sigma }$ 是样本协方差矩阵。

目标：
$$\begin{array}{ll}\underset{\mathbf{u}}{\max }& {\mathbf{u}}^T\mathbf{\Sigma }\mathbf{u}\\ \text{s.t}& {\mathbf{u}}^T\mathbf{u}-1=0\end{array}$$
应用 Lagrangian 乘数法：
$$\underset{\mathbf{u}}{\max }J(\mathbf{u})={\mathbf{u}}^T\Sigma \mathbf{u}-\lambda \left({\mathbf{u}}^T\mathbf{u}-1\right)$$
求偏导：
$$\begin{array}{rl}\frac{\partial }{\partial \mathbf{u}}J(\mathbf{u})& =0\\ \frac{\partial }{\partial \mathbf{u}}\left({\mathbf{u}}^T\mathbf{\Sigma }\mathbf{u}-\lambda \left({\mathbf{u}}^T\mathbf{u}-1\right)\right)& =0\\ 2\mathbf{\Sigma }\mathbf{u}-2\lambda \mathbf{u}& =0\\ \mathbf{\Sigma }\mathbf{u}& =\lambda \mathbf{u}\end{array}$$
注意到：${\mathbf{u}}^T\mathbf{\Sigma }\mathbf{u}={\mathbf{u}}^T\lambda \mathbf{u}=\lambda$

故优化问题的解 $\lambda$ 选取 $\mathbf{\Sigma }$ 最大特征值， $\mathbf{u}$ 选与 $\lambda$ 相应的单位特征向量。

问题：上述问题使得 ${\sigma }_{\mathbf{u}}^2$ 最大的 $\mathbf{u}$ 能否使投影误差最小？

定义平均平方误差（Minimum Squared Error，MSE）：
$$\begin{array}{rl}MSE(\mathbf{u})& =\frac{1}{n}\sum _{i=1}^n{\Vert {\mathbf{x}}_i-{\mathbf{x}}_i^{\prime }\Vert }^2\\ & =\frac{1}{n}\sum _{i=1}^n{\left({\mathbf{x}}_i-{\mathbf{x}}_i^{\prime }\right)}^T\left({\mathbf{x}}_i-{\mathbf{x}}_i^{\prime }\right)\\ & =\frac{1}{n}\sum _{i=1}^n\left({\Vert {\mathbf{x}}_i\Vert }^2-2{\mathbf{x}}_i^T{\mathbf{x}}_i^{\prime }+{\left({\mathbf{x}}_i^{\prime }\right)}^T{\mathbf{x}}_i^{\prime }\right)\\ & =\frac{1}{n}\sum _{i=1}^n\left({\Vert {\mathbf{x}}_i\Vert }^2-2{\mathbf{x}}_i^T({\mathbf{u}}^T{\mathbf{x}}_i)\mathbf{u}+{\left[({\mathbf{u}}^T{\mathbf{x}}_i)\mathbf{u}\right]}^T\left[({\mathbf{u}}^T{\mathbf{x}}_i)\mathbf{u}\right]\right)\\ & =\frac{1}{n}\sum _{i=1}^n\left({\Vert {\mathbf{x}}_i\Vert }^2-2({\mathbf{u}}^T{\mathbf{x}}_i){\mathbf{x}}_i^T\mathbf{u}+({\mathbf{u}}^T{\mathbf{x}}_i)({\mathbf{x}}_i^T\mathbf{u}){\mathbf{u}}^T\mathbf{u}\right)\\ & =\frac{1}{n}\sum _{i=1}^n\left({\Vert {\mathbf{x}}_i\Vert }^2-{\mathbf{u}}^T{\mathbf{x}}_i{\mathbf{x}}_i^T\mathbf{u}\right)\\ & =\frac{1}{n}\sum _{i=1}^n{\Vert {\mathbf{x}}_i\Vert }^2-{\mathbf{u}}^T\mathbf{\Sigma }\mathbf{u}\\ & =var(D)-{\sigma }_{\mathbf{u}}^2\end{array}$$
上式表明：$var(D)={\sigma }_{\mathbf{u}}^2+MSE$

$\mathbf{u}$ 的几何意义：${\mathbb{R}}^d$ 中使得数据沿其方向投影后方差最大的同时，MSE 最小的直线方向。

$\mathbf{u}$ 被称为一阶主元（first principal component）

7.2.2 最佳2-维近似

（二阶主元分析：r=2）

假设 ${\mathbf{u}}_1$ 已经找到，即 $\mathbf{\Sigma }$ 的最大特征值对应的特征向量。

目标：寻找 ${\mathbf{u}}_2$ ，简记为 $\mathbf{v}$，使得：${\mathbf{v}}^T{\mathbf{u}}_1=0,{\mathbf{v}}^T\mathbf{v}=1$

考虑 ${\mathbf{x}}_i$ 沿 $\mathbf{v}$ 方向投影的方差：
$$\begin{array}{ll}\underset{\mathbf{u}}{\max }& {\sigma }_{\mathbf{v}}^2={\mathbf{v}}^T\mathbf{\Sigma }\mathbf{v}\\ \text{s.t}& {\mathbf{v}}^T\mathbf{v}-1=0\\ & {\mathbf{v}}^T{\mathbf{u}}_1=0\end{array}$$
定义：$J(\mathbf{v})={\mathbf{v}}^T\mathbf{\Sigma }\mathbf{v}-\alpha \left({\mathbf{v}}^T\mathbf{v}-1\right)-\beta \left({\mathbf{v}}^T{\mathbf{u}}_1-0\right)$

对 $\mathbf{v}$ 求偏导得：
$$2\Sigma \mathbf{v}-2\alpha \mathbf{v}-\beta {\mathbf{u}}_1=0$$
两边同乘 ${\mathbf{u}}_1^T$：
$$\begin{array}{rl}2{\mathbf{u}}_1^T\Sigma \mathbf{v}-2\alpha {\mathbf{u}}_1^T\mathbf{v}-\beta {\mathbf{u}}_1^T{\mathbf{u}}_1& =0\\ 2{\mathbf{u}}_1^T\Sigma \mathbf{v}-\beta & =0\\ 2{\mathbf{v}}^T\Sigma {\mathbf{u}}_1-\beta & =0\\ 2{\mathbf{v}}^T{\lambda }_1{\mathbf{u}}_1-\beta & =0\\ \beta & =0\end{array}$$
再代入到原式：
$$\begin{gathered} 2\Sigma \mathbf{v}-2\alpha \mathbf{v}=0 \\ \Sigma \mathbf{v}=\alpha \mathbf{v} \end{gathered}$$
故 $\mathbf{v}$ 也是 $\mathbf{\Sigma }$ 的特征向量。

${\sigma }_{\mathbf{v}}^2={\mathbf{v}}^T\mathbf{\Sigma }\mathbf{v}=\alpha$，故 $\alpha$ 应取 $\mathbf{\Sigma }$ （第二大）的特征向量。

问题1：上述求得的 $\mathbf{v}$ （即 ${\mathbf{u}}_2$ ），与 ${\mathbf{u}}_1$ 一起考虑，能否使 $D$ 在 s p a n { u 1 , u 2 } span\{\mathbf{u}_1, \mathbf{u}_2 \} span{u1​,u2​} 上投影总方差最大？

设 ${\mathbf{x}}_i=\underset{投影}{\underbrace{a_{i1}{\mathbf{u}}_1+a_{i2}{\mathbf{u}}_2}}+\cdots$

则 ${\mathbf{x}}_i$ 在 s p a n { u 1 , u 2 } span\{\mathbf{u}_1, \mathbf{u}_2 \} span{u1​,u2​} 上投影坐标：${\mathbf{a}}_i=(a_{i1},a_{i2}{)}^T=({\mathbf{u}}_1^T{\mathbf{x}}_i,{\mathbf{u}}_2^T{\mathbf{x}}_i{)}^T$

令 ${\mathbf{U}}_2=\left(\begin{array}{cc}\mid & \mid \\ {\mathbf{u}}_1& {\mathbf{u}}_2\\ \mid & \mid \end{array}\right)$，则 ${\mathbf{a}}_i={\mathbf{U}}_2^T{\mathbf{x}}_i$

投影总方差为：
$$\begin{array}{rl}\mathrm{var}(\mathbf{A})& =\frac{1}{n}\sum _{i=1}^n{\Vert {\mathbf{a}}_i-0\Vert }^2\\ & =\frac{1}{n}\sum _{i=1}^n{\left({\mathbf{U}}_2^T{\mathbf{x}}_i\right)}^T\left({\mathbf{U}}_2^T{\mathbf{x}}_i\right)\\ & =\frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_i^T\left({\mathbf{U}}_2{\mathbf{U}}_2^T\right){\mathbf{x}}_i\\ & =\frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_i^T\left({\mathbf{u}}_1{\mathbf{u}}_1^T+{\mathbf{u}}_2{\mathbf{u}}_2^T\right){\mathbf{x}}_i\\ & ={\mathbf{u}}_1^T\mathbf{\Sigma }{\mathbf{u}}_1+{\mathbf{u}}_2^T\mathbf{\Sigma }{\mathbf{u}}_2\\ & ={\lambda }_1+{\lambda }_2\end{array}$$
问题2：平均平方误差是否最小？

其中，${\mathbf{x}}_i^{\prime }={\mathbf{U}}_2{\mathbf{U}}_2^T{\mathbf{x}}_i$
$$\begin{array}{rl}MSE& =\frac{1}{n}\sum _{i=1}^n{\Vert {\mathbf{x}}_i-{\mathbf{x}}_i^{\prime }\Vert }^2\\ & =\frac{1}{n}\sum _{i=1}^n{\Vert {\mathbf{x}}_i\Vert }^2-\frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_i^T\left({\mathbf{U}}_2{\mathbf{U}}_2^T\right){\mathbf{x}}_i\\ & =var(D)-{\lambda }_1-{\lambda }_2\end{array}$$
结论：

1. $\mathbf{\Sigma }$ 的前 $r$ 个特征值的和 ${\lambda }_1+\cdots +{\lambda }_r({\lambda }_1\ge \cdots \ge {\lambda }_r)$ 给出最大投影总方差；
2. $var(D)-\sum _{i=1}^r{\lambda }_i$ 给出最小MSE；
3. ${\lambda }_1,\cdots ,{\lambda }_r$ 相应的特征向量 ${\mathbf{u}}_1,\cdots {\mathbf{u}}_r$ 张成 $r$ - 阶主元。

7.2.3 推广

${\Sigma }_{d\times d}$ ，${\lambda }_1\ge {\lambda }_2\ge \cdots {\lambda }_d$，中心化

$\sum _{i=1}^r{\lambda }_i$：最大投影总方差；

$var(D)-\sum _{i=1}^r{\lambda }_i$：最小MSE

实践： 如何选取适当的 $r$，考虑比值 $\frac{\sum _{i=1}^r{\lambda }_i}{var(D)}$ 与给定阈值 $\alpha$ 比较

算法 7.1 PCA：

输入：$D$，$\alpha$

输出：$A$ (降维后)

1. $\mathbf{\mu }=\frac{1}{n}\sum _{i=1}^r{\mathbf{x}}_i$;
2. $\mathbf{Z}=\mathbf{D}-1\cdot {\mathbf{\mu }}^T$;
3. $\mathbf{\Sigma }=\frac{1}{n}({\mathbf{Z}}^T\mathbf{Z})$;
4. ${\lambda }_1\ge {\lambda }_2\ge \cdots {\lambda }_d$，$⟵\mathbf{\Sigma }$ 的特征值（降序排列）;
5. ${\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_d$，$⟵\mathbf{\Sigma }$ 的特征向量（单位正交）；
6. 计算 $\frac{\sum _{i=1}^r{\lambda }_i}{var(D)}$，选取其比值超过 $\alpha$ 最小的 $r$；
7. ${\mathbf{U}}_r=({\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_r)$;
8. A = { a i ∣ a i = U r T x i , i = 1 , ⋯   , n } A=\{\mathbf{a}_i|\mathbf{a}_i=\mathbf{U}_r^T\mathbf{x}_i, i=1,\cdots,n\} A={ai​∣ai​=UrT​xi​,i=1,⋯,n}。

7.2.3 Kernel PCA：核主元分析

$\varphi :\mathcal{I}\to \mathcal{F}\subseteq {\mathbb{R}}^d$

$K:\mathcal{I}\times \mathcal{I}\to \mathbb{R}$

$K({\mathbf{x}}_i,{\mathbf{x}}_j)={\varphi }^T({\mathbf{x}}_i)\varphi ({\mathbf{x}}_j)$

已知：$\mathbf{K}=[K({\mathbf{x}}_i,{\mathbf{x}}_j){]}_{n\times n}$，${\mathbf{\Sigma }}_{\varphi }=\frac{1}{n}\sum _{i=1}^n\varphi ({\mathbf{x}}_i)\varphi ({\mathbf{x}}_i{)}^T$

对象：$\varphi ({\mathbf{x}}_1),\varphi ({\mathbf{x}}_2),\cdots ,\varphi ({\mathbf{x}}_n)\in {\mathbb{R}}^d$，假设 $\frac{1}{n}\sum _i^n\varphi ({\mathbf{x}}_i)=0$，$\mathbf{K}\to \hat{\mathbf{K}}$，已经中心化；

目标：$\mathbf{u},\lambda ,s.t.{\mathbf{\Sigma }}_{\varphi }\mathbf{u}=\lambda \mathbf{u}$
$$\begin{array}{rl}\frac{1}{n}\sum _{i=1}^n\varphi ({\mathbf{x}}_i)[\varphi ({\mathbf{x}}_i{)}^T\mathbf{u}]& =\lambda \mathbf{u}\\ \sum _{i=1}^n[\frac{\varphi ({\mathbf{x}}_i{)}^T\mathbf{u}}{n\lambda }]\varphi ({\mathbf{x}}_i)& =\mathbf{u}\end{array}$$
相同于所有数据线性组合。

令：$c_i=\frac{\varphi ({\mathbf{x}}_i{)}^T\mathbf{u}}{n\lambda }$，则 $\mathbf{u}=\sum _{i=1}^n{c}_i\varphi ({\mathbf{x}}_i)$。代入原式：
$$\begin{array}{rl}\left(\frac{1}{n}\sum _{i=1}^n\varphi \left({\mathbf{x}}_i\right)\varphi {\left({\mathbf{x}}_i\right)}^T\right)\left(\sum _{j=1}^n{c}_j\varphi \left({\mathbf{x}}_j\right)\right)& =\lambda \sum _{i=1}^n{c}_i\varphi \left({\mathbf{x}}_i\right)\\ \frac{1}{n}\sum _{i=1}^n\sum _{j=1}^n{c}_j\varphi \left({\mathbf{x}}_i\right)\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)& =\lambda \sum _{i=1}^n{c}_i\varphi \left({\mathbf{x}}_i\right)\\ \sum _{i=1}^n\left(\varphi \left({\mathbf{x}}_i\right)\sum _{j=1}^n{c}_{j}K({\mathbf{x}}_i,{\mathbf{x}}_j)\right)& =n\lambda \sum _{i=1}^n{c}_i\varphi \left({\mathbf{x}}_i\right)\end{array}$$
注意，此处 $\mathbf{K}=\hat{\mathbf{K}}$ 已经中心化

对于 $\forall k(1\le k\le n)$，两边同时左乘 $\varphi ({\mathbf{x}}_k)$：
$$\begin{array}{rl}\sum _{i=1}^n\left({\varphi }^T({\mathbf{x}}_k)\varphi \left({\mathbf{x}}_i\right)\sum _{j=1}^n{c}_{j}K({\mathbf{x}}_i,{\mathbf{x}}_j)\right)& =n\lambda \sum _{i=1}^n{c}_i{\varphi }^T({\mathbf{x}}_k)\varphi \left({\mathbf{x}}_i\right)\\ \sum _{i=1}^n\left(K({\mathbf{x}}_k,{\mathbf{x}}_i)\sum _{j=1}^n{c}_{j}K({\mathbf{x}}_i,{\mathbf{x}}_j)\right)& =n\lambda \sum _{i=1}^n{c}_{i}K({\mathbf{x}}_k,{\mathbf{x}}_i)\end{array}$$
令 ${\mathbf{K}}_i={\left(K\left({\mathbf{x}}_i,{\mathbf{x}}_1\right),K\left({\mathbf{x}}_i,{\mathbf{x}}_2\right),\cdots ,K\left({\mathbf{x}}_i,{\mathbf{x}}_n\right)\right)}^T$ (核矩阵的第 $i$ 行，$\mathbf{K}=(\left[\begin{array}{c}{\mathbf{K}}_1^T\\ ⋮\\ {\mathbf{K}}_n^T\end{array}\right])$)，$\mathbf{c}=(c_1,c_2,\cdots ,c_n{)}^T$，则：
$$\begin{array}{rl}\sum _{i=1}^{n}K({\mathbf{x}}_k,{\mathbf{x}}_i){\mathbf{K}}_i^T\mathbf{c}& =n\lambda {\mathbf{K}}_k^T\mathbf{c},k=1,2,\cdots ,n\\ {\mathbf{K}}_k^T\left[\begin{array}{c}{\mathbf{K}}_1^T\\ ⋮\\ {\mathbf{K}}_n^T\end{array}\right]\mathbf{c}& =n\lambda {\mathbf{K}}_k^T\mathbf{c}\\ {\mathbf{K}}_k^T\mathbf{K}& =n\lambda {\mathbf{K}}_k^T\mathbf{c}\end{array}$$
即 ${\mathbf{K}}^2\mathbf{c}=n\lambda \mathbf{K}\mathbf{c}$

假设 ${\mathbf{K}}^{-1}$ 存在
$$\begin{array}{rl}{\mathbf{K}}^2\mathbf{c}& =n\lambda \mathbf{K}\mathbf{c}\\ \mathbf{K}\mathbf{c}& =n\lambda \mathbf{c}\\ \mathbf{K}\mathbf{c}& =\eta \mathbf{c},\eta =n\lambda \end{array}$$
结论：$\frac{{\eta }_1}{n}\ge \frac{{\eta }_2}{n}\ge \cdots \ge \frac{{\eta }_n}{n}$，给出在特征空间中 $\varphi ({\mathbf{x}}_1),\varphi ({\mathbf{x}}_2),\cdots ,\varphi ({\mathbf{x}}_n)$ 的投影方差：$\sum _{i=1}^r\frac{{\eta }_r}{n}$，其中 ${\eta }_1\ge {\eta }_2\cdots \ge {\eta }_n$ 是 $\mathbf{K}$ 的特征值。

问：可否计算出 $\varphi ({\mathbf{x}}_1),\varphi ({\mathbf{x}}_2),\cdots ,\varphi ({\mathbf{x}}_n)$ 在主元方向上的投影（即降维之后的数据）？

设 ${\mathbf{u}}_1,\cdots ,{\mathbf{u}}_d$ 是 ${\mathbf{\Sigma }}_{\varphi }$ 的特征向量，则 $\varphi ({\mathbf{x}}_j)=a_1{\mathbf{u}}_1+\cdots +a_d{\mathbf{u}}_d$，其中
$$\begin{array}{rl}{a}_k& =\varphi ({\mathbf{x}}_j{)}^T{\mathbf{u}}_k,k=1,2,\cdots ,d\\ & =\varphi ({\mathbf{x}}_j{)}^T\sum _{i=1}^n{c}_{ki}\varphi ({\mathbf{x}}_i)\\ & =\sum _{i=1}^n{c}_{ki}\varphi ({\mathbf{x}}_j{)}^T\varphi ({\mathbf{x}}_i)\\ & =\sum _{i=1}^n{c}_{ki}K({\mathbf{x}}_j,{\mathbf{x}}_i)\end{array}$$

算法7.2：核主元分析（$\mathcal{F}\subseteq {\mathbb{R}}^d$）

输入：$K$，$\alpha$

输出：$A$ （降维后数据的投影坐标）

1. $\hat{\mathbf{K}}:=\left(\mathbf{I}-\frac{1}{n}{1}_{n\times n}\right)\mathbf{K}\left(\mathbf{I}-\frac{1}{n}{1}_{n\times n}\right)$

2. ${\eta }_1,{\eta }_2,\cdots {\eta }_d$ $⟵\mathbf{K}$ 的特征值，只取前 $d$ 个

3. ${\mathbf{c}}_1,{\mathbf{c}}_2,\cdots ,{\mathbf{c}}_d$$⟵\mathbf{K}$ 的特征向量（单位化，正交）

4. ${\mathbf{c}}_i\leftarrow \frac{1}{\sqrt{{\eta }_i}}\cdot {\mathbf{c}}_i,i=1,\cdots ,d$

5. 选取最小的 $r$ 使得：$\frac{\sum _{i=1}^r\frac{{\eta }_i}{n}}{\sum _{i=1}^d\frac{{\eta }_i}{n}}\ge \alpha$

6. ${\mathbf{C}}_r=({\mathbf{c}}_1,{\mathbf{c}}_2,\cdots ,{\mathbf{c}}_r)$

7. A = { a i ∣ a i = C r T K i , i = 1 , ⋯   , n } A=\{\mathbf{a}_i|\mathbf{a}_i=\mathbf{C}_r^T\mathbf{K}_i, i=1,\cdots,n\} A={ai​∣ai​=CrT​Ki​,i=1,⋯,n}

Chapter 14：Hierarchical Clustering 分层聚类

14.1 预备

Def.1 给定数据集 D = { x 1 , x 2 , ⋯   , x n } , ( x i ∈ R d ) \mathbf{D}=\{ \mathbf{x}_1,\mathbf{x}_2,\cdots,\mathbf{x}_n\},(\mathbf{x}_i\in \mathbb{R}^d) D={x1​,x2​,⋯,xn​},(xi​∈Rd)，$\mathbf{D}$ 的一个聚类是指 $\mathbf{D}$ 的划分 C = { C 1 , C 2 , ⋯   , C k } \mathcal{C}=\{C_1,C_2,\cdots,C_k \} C={C1​,C2​,⋯,Ck​} s.t. $C_i\subseteq \mathbf{D},C_i\cap C_j=\varnothing ,{\cup }_{i=1}^k{C}_i=\mathbf{D}$；

称聚类 A = { A 1 , ⋯   , A r } \mathcal{A}=\{A_1,\cdots,A_r\} A={A1​,⋯,Ar​} 是聚类 B = { B 1 , ⋯   , B s } \mathcal{B}=\{B_1,\cdots,B_s\} B={B1​,⋯,Bs​} 的嵌套，如果 $r>s$，且对于 $\forall A_i\in \mathcal{A}$ ，存在 $B_j\in \mathcal{B}$ 使得 $A_i\subseteq B_j$

$\mathbf{D}$ 的分层聚类是指一个嵌套聚类序列 ${\mathcal{C}}_1,\cdots ,{\mathcal{C}}_n$，其中 C 1 = { { x 1 } , { x 2 } , ⋯   , { x n } } , ⋯   , C n = { { x 1 , x 2 , ⋯   , x n } } \mathcal{C}_1=\{ \{\mathbf{x}_1\},\{\mathbf{x}_2\},\cdots,\{\mathbf{x}_n\}\},\cdots,\mathcal{C}_n=\{\{ \mathbf{x}_1,\mathbf{x}_2,\cdots,\mathbf{x}_n\} \} C1​={{x1​},{x2​},⋯,{xn​}},⋯,Cn​={{x1​,x2​,⋯,xn​}}，且 ${\mathcal{C}}_t$ 是 ${\mathcal{C}}_{t+1}$ 的嵌套。

Def.2 分层聚类示图的顶点集是指所有在 ${\mathcal{C}}_1,\cdots ,{\mathcal{C}}_n$ 中出现的元，如果 $C_i\in {\mathcal{C}}_t$ 且 $C_j\in {\mathcal{C}}_{t+1}$ 满足，则 $C_i$ 与 $C_j$ 之间有一条边。

事实：

1. 分层聚类示图是一棵二叉树（不一定，作为假设，假设每层只聚两类），分层聚类与其示图一一对应。
2. 设（即数据点数为 $n$），则所有可能的分层聚类示图数目为 $(2n-3)!!$ （跃乘 $1\times 3\times 5\times \cdots$）

14.2 团聚分层聚类

算法14.1 ：

输入： $\mathbf{D},k$

输出：$\mathcal{C}$

1. C ← { C i = { x i } ∣ x i ∈ D } \mathcal{C} \leftarrow \{C_i=\{\mathbf{x}_i\}|\mathbf{x}_i \in \mathbf{D} \} C←{Ci​={xi​}∣xi​∈D}
2. Δ ← { δ ( x i , x j ) : x i , x j ∈ D } \Delta \leftarrow \{\delta(\mathbf{x}_i,\mathbf{x}_j):\mathbf{x}_i,\mathbf{x}_j \in \mathbf{D} \} Δ←{δ(xi​,xj​):xi​,xj​∈D}
3. repeat
4. ​ 寻找最近的对 $C_i,C_j\in \mathcal{C}$
5. ​ $C_{ij}\leftarrow C_i\cup C_j$
6. ​ C ← ( C ∣ { C i , C j } ) ∪ C i j \mathcal{C}\leftarrow (\mathcal{C} | \{C_i,C_j \}) \cup {C_{ij}} C←(C∣{Ci​,Cj​})∪Cij​
7. ​ 根据 $\mathcal{C}$ 更新距离矩阵 $\Delta$
8. Until $|\mathcal{C}|=k$

问题：如何定义/计算 $C_i,C_j$ 的距离，即 $\delta (C_i,C_j)$ ?

$\delta (C_i,C_j)$ 有以下五种不同方式：

1. 简单连接： δ ( C i , C j ) : = min ⁡ { δ ( x , y ) ∣ x ∈ C i , y ∈ C j } \delta(C_i,C_j):= \min \{\delta(\mathbf{x},\mathbf{y}) | \mathbf{x} \in C_i, \mathbf{y} \in C_j\} δ(Ci​,Cj​):=min{δ(x,y)∣x∈Ci​,y∈Cj​}

2. 完全连接： δ ( C i , C j ) : = max ⁡ { δ ( x , y ) ∣ x ∈ C i , y ∈ C j } \delta(C_i,C_j):= \max \{\delta(\mathbf{x},\mathbf{y}) | \mathbf{x} \in C_i, \mathbf{y} \in C_j\} δ(Ci​,Cj​):=max{δ(x,y)∣x∈Ci​,y∈Cj​}

3. 组群平均：$\delta (C_i,C_j):=\frac{\sum _{\mathbf{x}\in C_i}\sum _{\mathbf{y}\in C_j}\delta (\mathbf{x},\mathbf{y})}{n_i\cdot n_j},n_i=|C_i|,n_j=|C_j|$

4. 均值距离：$\delta (C_i,C_j):=||{\mathbf{\mu }}_i-{\mathbf{\mu }}_j|{|}^2,{\mathbf{\mu }}_i=\frac{1}{n}\sum _{\mathbf{x}\in C_i}\mathbf{x},{\mathbf{\mu }}_j=\frac{1}{n}\sum _{\mathbf{y}\in C_j}\mathbf{y}$

5. 极小方差：对任意 $C_i$，定义平方误差和 $SS{E}_i=\sum _{\mathbf{x}\in C_i}||\mathbf{x}-{\mathbf{\mu }}_i|{|}^2$

   对 $C_i,C_j,SS{E}_{ij}:=\sum _{\mathbf{x}\in C_i\cup C_j}||\mathbf{x}-{\mathbf{\mu }}_{ij}|{|}^2$，其中 ${\mathbf{\mu }}_{ij}:=\frac{1}{n_i+n_j}\sum _{\mathbf{x}\in C_i\cup C_j}\mathbf{x}$

   $\delta (C_i,C_j):=SS{E}_{ij}-SS{E}_i-SS{E}_j$

证明：$\delta (C_i,C_j)=\frac{n_i{n}_j}{n_i+n_j}||{\mathbf{\mu }}_i-{\mathbf{\mu }}_j|{|}^2$

简记：$C_{ij}:=C_i\cup C_j,n_{ij}:=n_i+n_j$

注意：$C_i\cap C_j=\varnothing$，故 $|C_{ij}|=n_i+n_j$
$$\begin{array}{rl}\delta \left(C_i,C_j\right)& =\sum _{\mathbf{z}\in C_{ij}}{\Vert \mathbf{z}-{\mathbf{\mu }}_{ij}\Vert }^2-\sum _{\mathbf{x}\in C_i}{\Vert \mathbf{x}-{\mathbf{\mu }}_i\Vert }^2-\sum _{\mathbf{y}\in C_j}{\Vert \mathbf{y}-{\mathbf{\mu }}_j\Vert }^2\\ & =\sum _{\mathbf{z}\in C_{ij}}{\mathbf{z}}^T\mathbf{z}-n_{ij}{\mathbf{\mu }}_{ij}^T{\mathbf{\mu }}_{ij}-\sum _{\mathbf{x}\in C_i}{\mathbf{x}}^T\mathbf{x}+n_i{\mathbf{\mu }}_i^T{\mathbf{\mu }}_i-\sum _{\mathbf{y}\in C_j}{\mathbf{y}}^T\mathbf{y}+n_j{\mathbf{\mu }}_j^T{\mathbf{\mu }}_j\\ & =n_i{\mathbf{\mu }}_i^T{\mathbf{\mu }}_i+n_j{\mathbf{\mu }}_j^T{\mathbf{\mu }}_j-\left(n_i+n_j\right){\mathbf{\mu }}_{ij}^T{\mathbf{\mu }}_{ij}\end{array}$$
注意到：${\mathbf{\mu }}_{ij}=\frac{1}{n_{ij}}\sum _{\mathbf{z}\in C_{ij}}\mathbf{z}=\frac{1}{n_i+n_j}(\sum _{\mathbf{x}\in C_i}\mathbf{x}+\sum _{\mathbf{y}\in C_j}\mathbf{y})=\frac{1}{n_i+n_j}(n_i{\mathbf{\mu }}_i+n_j{\mathbf{\mu }}_j)$

故：${\mathbf{\mu }}_{ij}^T{\mathbf{\mu }}_{ij}=\frac{1}{{\left(n_i+n_j\right)}^2}\left(n_i^2{\mathbf{\mu }}_i^T{\mathbf{\mu }}_i+2n_i{n}_j{\mathbf{\mu }}_i^T{\mathbf{\mu }}_j+n_j^2{\mathbf{\mu }}_j^T{\mathbf{\mu }}_j\right)$
$$\begin{array}{rl}\delta \left(C_i,C_j\right)& =n_i{\mathbf{\mu }}_i^T{\mathbf{\mu }}_i+n_j{\mu }_j^T{\mathbf{\mu }}_j-\frac{1}{\left(n_i+n_j\right)}\left(n_i^2{\mathbf{\mu }}_i^T{\mathbf{\mu }}_i+2n_i{n}_j{\mathbf{\mu }}_i^T{\mathbf{\mu }}_j+n_j^2{\mathbf{\mu }}_j^T{\mathbf{\mu }}_j\right)\\ & =\frac{n_i\left(n_i+n_j\right){\mathbf{\mu }}_i^T{\mathbf{\mu }}_i+n_j\left(n_i+n_j\right){\mathbf{\mu }}_j^T{\mathbf{\mu }}_j-n_i^2{\mathbf{\mu }}_i^T{\mathbf{\mu }}_i-2n_i{n}_j{\mathbf{\mu }}_i^T{\mathbf{\mu }}_j-n_j^2{\mathbf{\mu }}_j^T{\mathbf{\mu }}_j}{n_i+n_j}\\ & =\frac{n_i{n}_j\left({\mathbf{\mu }}_i^T{\mathbf{\mu }}_i-2{\mathbf{\mu }}_i^T{\mathbf{\mu }}_j+{\mathbf{\mu }}_j^T{\mathbf{\mu }}_j\right)}{n_i+n_j}\\ & =\left(\frac{n_i{n}_j}{n_i+n_j}\right){\Vert {\mathbf{\mu }}_i-{\mathbf{\mu }}_j\Vert }^2\end{array}$$
问题：如何快速计算算法14.1 第7步：更新矩阵？

☆ Lance–Williams formula
$$\begin{array}{r}\delta \left(C_{ij},C_r\right)={\alpha }_i\cdot \delta \left(C_i,C_r\right)+{\alpha }_j\cdot \delta \left(C_j,C_r\right)+\\ \beta \cdot \delta \left(C_i,C_j\right)+\gamma \cdot \left|\delta \left(C_i,C_r\right)-\delta \left(C_j,C_r\right)\right|\end{array}$$

Measure	${\alpha }_i$	${\alpha }_j$	$\beta$	$\gamma$
简单连接	$\frac{1}{2}$	$\frac{1}{2}$	$0$	$-\frac{1}{2}$
完全连接	$\frac{1}{2}$	$\frac{1}{2}$	$0$	$\frac{1}{2}$
组群平均	$\frac{n_i}{n_i+n_j}$	$\frac{n_j}{n_i+n_j}$	$0$	$0$
均值距离	$\frac{n_i}{n_i+n_j}$	$\frac{n_j}{n_i+n_j}$	$\frac{-n_i{n}_j}{(n_i+n_j{)}^2}$	$0$
极小方差	$\frac{n_i+n_r}{n_i+n_j+n_r}$	$\frac{n_j+n_r}{n_i+n_j+n_r}$	$\frac{-n_r}{n_i+n_j+n_r}$	$0$

Proof:

1. 简单连接
   δ ( C i j , C r ) = min ⁡ { δ ( x , y ) ∣ x ∈ C i j , y ∈ C r } = min ⁡ { δ ( C i , C r ) , δ ( C j , C r ) } a = a + b − ∣ a − b ∣ 2 , b = a + b + ∣ a − b ∣ 2 \begin{aligned} \delta\left(C_{i j}, C_{r}\right) &= \min \{\delta({\mathbf{x}, \mathbf{y}} )|\mathbf{x}\in C_{ij}, \mathbf{y} \in C_r\} \\ &= \min \{\delta({C_{i}, C_{r}), \delta(C_{j}, C_{r}} )\} \end{aligned}\\ a=\frac{a+b-|a-b|}{2},b=\frac{a+b+|a-b|}{2} δ(Cij​,Cr​)​=min{δ(x,y)∣x∈Cij​,y∈Cr​}=min{δ(Ci​,Cr​),δ(Cj​,Cr​)}​a=2a+b−∣a−b∣​,b=2a+b+∣a−b∣​
   

2. 完全连接

   见上图

3. 组群平均
   $$\begin{array}{rl}\delta \left(C_{ij},C_r\right)& =\frac{\sum _{\mathbf{x}\in C_i\cup C_j}\sum _{\mathbf{y}\in C_r}\delta (\mathbf{x},\mathbf{y})}{(n_i+n_j)\cdot n_r}\\ & =\frac{\sum _{\mathbf{x}\in C_i}\sum _{\mathbf{y}\in C_r}\delta (\mathbf{x},\mathbf{y})+\sum _{\mathbf{x}\in C_j}\sum _{\mathbf{y}\in C_r}\delta (\mathbf{x},\mathbf{y})}{(n_i+n_j)\cdot n_r}\\ & =\frac{n_i{n}_r\delta (C_i,C_r)+n_j{n}_r\delta (C_j,C_r)}{(n_i+n_j)\cdot n_r}\\ & =\frac{n_i\delta (C_i,C_r)+n_j\delta (C_j,C_r)}{(n_i+n_j)}\end{array}$$

4. 均值距离：作业

5. 极小方差

   基于均值距离的结论再代入 $\delta (C_i,C_j)=\frac{n_i{n}_j}{n_i+n_j}||{\mathbf{\mu }}_i-{\mathbf{\mu }}_j|{|}^2$

事实：算法14.1 的复杂度为 $O(n^2\log n)$

Chapter 15：基于密度的聚类

适用数据类型：非凸，又称非凸聚类；K-means 适用于凸数据

15.1 DBSCAN 算法

• 定义记号： ∀ x ∈ R d , N ϵ ( x ) : = { y ∈ R d ∣ δ ( x − y ) ≤ ϵ } \forall \mathbf{x}\in \mathbb{R}^d,N_{\epsilon}(\mathbf{x}):=\{\mathbf{y}\in \mathbb{R}^d|\delta(\mathbf{x}-\mathbf{y})\le\epsilon \} ∀x∈Rd,Nϵ​(x):={y∈Rd∣δ(x−y)≤ϵ}，其中 $\delta (\mathbf{x}-\mathbf{y})=||\mathbf{x}-\mathbf{y}||$ 欧式距离，其他距离也可。$\mathbf{D}\subseteq {\mathbb{R}}^d$

Def.1 设 $minpts\in {\mathbb{N}}_{+}$ 是用户定义的局部密度，如果 $|N_{ϵ}(\mathbf{x})\cap \mathbf{D}|\ge minpts$ ，则称 $\mathbf{x}$ 是 $\mathbf{D}$ 核心点；如果 $|N_{ϵ}(\mathbf{x})\cap \mathbf{D}|<minpts$ ，且 $\mathbf{x}\in N_{ϵ}(\mathbf{z})$ ，其中 $\mathbf{z}$ 是 $\mathbf{D}$ 的核心点，则称 $\mathbf{x}$ 是 $\mathbf{D}$ 的边缘点；如果 $\mathbf{x}$ 既不是核心点又不是边缘点，则称 $\mathbf{x}$ 是 $\mathbf{D}$ 的噪点。

Def.2 如果 $\mathbf{x}\in N_{ϵ}(\mathbf{y})$ 且 $\mathbf{y}$ 是核心点，则称 $\mathbf{x}$ 到 $\mathbf{y}$ 是直接密度可达的。如果存在点列 ${\mathbf{x}}_0,{\mathbf{x}}_1,\cdots ,{\mathbf{x}}_l$，使得 ${\mathbf{x}}_0=\mathbf{x},{\mathbf{x}}_l=\mathbf{y}$，且 ${\mathbf{x}}_i$ 到 ${\mathbf{x}}_{i-1}$ 是直接密度可达，则称 $\mathbf{x}$ 到 $\mathbf{y}$ 是密度可达。

Def.3 如果存在 $\mathbf{z}\in \mathbf{D}$，使得 $\mathbf{x}$ 和 $\mathbf{y}$ 到 $\mathbf{z}$ 都是密度可达的，称 $\mathbf{x}$ 和 $\mathbf{y}$ 是密度连通的。

Def.4 基于密度的聚类是指基数最大的密度连通集（即集合内任意两点都是密度连通）。

算法15.1 ： DBSCAN ($O(n^2)$)

输入： $\mathbf{D},ϵ,minpts$

输出：$\mathcal{C},Core,Border,Noise$

1. $Core\leftarrow \varnothing$

2. 对每一个 ${\mathbf{x}}_i\in \mathbf{D}$

   2.1 计算 $N_{ϵ}({\mathbf{x}}_i)(\subseteq \mathbf{D})$

   2.2 $id({\mathbf{x}}_i)\leftarrow \varnothing$

   2.3 如果 $N_{ϵ}({\mathbf{x}}_i)\ge minpts$，则 C o r e ← C o r e ∪ { x i } Core\leftarrow Core \cup \{ \mathbf{x}_i\} Core←Core∪{xi​}

3. $k\leftarrow 0$

4. 对每一个 ${\mathbf{x}}_i\in Core,s.t.id({\mathbf{x}}_i)=\varnothing$，执行

   4.1 $k\leftarrow k+1$

   4.2 $id({\mathbf{x}}_i)\leftarrow k$

   4.3 $DensityConnected({\mathbf{x}}_i,k)$

5. C ← { C i } i = 1 k \mathcal{C}\leftarrow \{ C_i\}_{i=1}^k C←{Ci​}i=1k​，其中 C i ← { x i ∈ D ∣ i d ( x i ) = i } C_i\leftarrow \{\mathbf{x}_i \in \mathbf{D} |id(\mathbf{x}_i)=i\} Ci​←{xi​∈D∣id(xi​)=i}

6. N o i s e ← { x i ∈ D ∣ i d ( x i ) = ∅ } Noise \leftarrow \{\mathbf{x}_i \in \mathbf{D} |id(\mathbf{x}_i)=\emptyset\} Noise←{xi​∈D∣id(xi​)=∅}

7. B o r d e r ← D ∖ { C o r e ∪ N o i s e } Border\leftarrow \mathbf{D}\setminus \{Core\cup Noise \} Border←D∖{Core∪Noise}

8. return $\mathcal{C},Core,Border,Noise$

$DensityConnected({\mathbf{x}}_i,k)$：

1. 对于每一个 $\mathbf{y}\in N_{ϵ}(\mathbf{x})\setminus \mathbf{x}$

   1.1 $id(\mathbf{y})\leftarrow k$

   1.2 如果 $\mathbf{y}\in Core$，则 $DensityConnected(\mathbf{y},k)$

Remark：DBSCAN 对 $\epsilon$ 敏感：$\epsilon$ 过小，稀疏的类可能被认作噪点；$\epsilon$ 过大，稠密的类可能无法区分。

15.2 密度估计函数（DEF）

$\forall \mathbf{z}\in {\mathbb{R}}^d$，定义 $K(\mathbf{z})=\frac{1}{(2\pi {)}^{d/2}}{e}^{-\frac{{\mathbf{z}}^T\mathbf{z}}{2}}$，$\forall \mathbf{x}\in {\mathbb{R}}^d,\hat{f}(\mathbf{x}):=\frac{1}{n{h}^d}\sum _{i=1}^{n}K(\frac{\mathbf{x}-{\mathbf{x}}_i}{h})$

其中 $h>0$ 是用户指定的步长， { x 1 , ⋯   , x n } \{\mathbf{x}_1,\cdots,\mathbf{x}_n\} {x1​,⋯,xn​} 是给定的数据集

15.3 DENCLUE

Def.1 称 ${\mathbf{x}}^{\ast }\in {\mathbb{R}}^d$ 是密度吸引子，如果它决定概率密度函数 $f$ 的一个局部最大值。（PDF一般未知）

称 ${\mathbf{x}}^{\ast }\in {\mathbb{R}}^d$ 是 $\mathbf{x}\in {\mathbb{R}}^d$ 的密度吸引子，如果存在 ${\mathbf{x}}_0,{\mathbf{x}}_1,\dots ,{\mathbf{x}}_m$，使得 ${\mathbf{x}}_0=\mathbf{x},||{\mathbf{x}}_m-{\mathbf{x}}^{\ast }||\le ϵ$，且 ${\mathbf{x}}_{t+1}={\mathbf{x}}_t+\delta \cdot \nabla \hat{f}({\mathbf{x}}_t)(1)$

其中 $ϵ,\delta >0$ 是用户定义的误差及步长，$\hat{f}$ 是DEF。

• 更高效的迭代公式：

动机：当 $\mathbf{x}$ 靠近 ${\mathbf{x}}^{\ast }$ 时，迭代公式（1）迭代效率低 $\nabla \hat{f}({\mathbf{x}}^{\ast })=0$

而 $\nabla \hat{f}(\mathbf{x})=\frac{\partial }{\partial \mathbf{x}}\hat{f}(\mathbf{x})=\frac{1}{n{h}^d}\sum _{i=1}^n\frac{\partial }{\partial \mathbf{x}}K\left(\frac{\mathbf{x}-{\mathbf{x}}_i}{h}\right)$

$\begin{array}{rl}\frac{\partial }{\partial \mathbf{x}}K(\mathbf{z})& =\left(\frac{1}{(2\pi {)}^{d/2}}\exp \left\{-\frac{{\mathbf{z}}^T\mathbf{z}}{2}\right\}\right)\cdot -\mathbf{z}\cdot \frac{\partial \mathbf{z}}{\partial \mathbf{x}}\\ & =K(\mathbf{z})\cdot -\mathbf{z}\cdot \frac{\partial \mathbf{z}}{\partial \mathbf{x}}\end{array}$

将 $\mathbf{z}=\frac{\mathbf{x}-{\mathbf{x}}_i}{h}$ 代入得：$\frac{\partial }{\partial \mathbf{x}}K\left(\frac{\mathbf{x}-{\mathbf{x}}_i}{h}\right)=K\left(\frac{\mathbf{x}-{\mathbf{x}}_i}{h}\right)\cdot \left(\frac{{\mathbf{x}}_i-\mathbf{x}}{h}\right)\cdot \left(\frac{1}{h}\right)$

故有：$\nabla \hat{f}(\mathbf{x})=\frac{1}{n{h}^{d+2}}\sum _{i=1}^{n}K\left(\frac{\mathbf{x}-{\mathbf{x}}_i}{h}\right)\cdot \left({\mathbf{x}}_i-\mathbf{x}\right)$

则：$\frac{1}{n{h}^{d+2}}\sum _{i=1}^{n}K\left(\frac{{\mathbf{x}}^{\ast }-{\mathbf{x}}_i}{h}\right)\cdot \left({\mathbf{x}}_i-{\mathbf{x}}^{\ast }\right)=0$

故有：${\mathbf{x}}^{\ast }=\frac{\sum _{i=1}^{n}K\left(\frac{{\mathbf{x}}^{\ast }-{\mathbf{x}}_i}{h}\right)\cdot {\mathbf{x}}_i}{\sum _{i=1}^{n}K\left(\frac{{\mathbf{x}}^{\ast }-{\mathbf{x}}_i}{h}\right)}(2)$

由（1）：${\mathbf{x}}_{t+1}-{\mathbf{x}}_t=\delta \cdot \nabla \hat{f}({\mathbf{x}}_t)$，（靠近 ${\mathbf{x}}^{\ast }$ 时）近似有：${\mathbf{x}}_{t+1}-{\mathbf{x}}_t\approx 0$

且：${\mathbf{x}}_t=\frac{\sum _{i=1}^{n}K\left(\frac{{\mathbf{x}}_t-{\mathbf{x}}_i}{h}\right)\cdot {\mathbf{x}}_i}{\sum _{i=1}^{n}K\left(\frac{{\mathbf{x}}_t-{\mathbf{x}}_i}{h}\right)}$

故：${\mathbf{x}}_{t+1}=\frac{\sum _{i=1}^{n}K\left(\frac{{\mathbf{x}}_t-{\mathbf{x}}_i}{h}\right)\cdot {\mathbf{x}}_i}{\sum _{i=1}^{n}K\left(\frac{{\mathbf{x}}_t-{\mathbf{x}}_i}{h}\right)}$

Def.2 称 $C\subseteq \mathbf{D}$ 是基于密度的类，如果存在密度吸引子 ${\mathbf{x}}_1^{\ast },\dots ,{\mathbf{x}}_m^{\ast }$ $s.t:$

1. $\forall \mathbf{x}\in C$ 都有某个 ${\mathbf{x}}_i^{\ast }$ 使得， ${\mathbf{x}}_i^{\ast }$ 是 $\mathbf{x}$ 的密度吸引子；
2. $\forall i,\hat{f}({\mathbf{x}}_i^{\ast })\ge \xi$，其中 $\xi$ 是用户指定的极小密度阈值；
3. $\forall {\mathbf{x}}_i^{\ast },{\mathbf{x}}_j^{\ast }$ 都密度可达，即存在路径从 ${\mathbf{x}}_i^{\ast }$ 到 ${\mathbf{x}}_j^{\ast }$ 使得路径上所有点 $\mathbf{y}$ 都有 $\hat{f}(\mathbf{y})\ge \xi$。

算法15.2 ： DENCLUE 算法

输入：$\mathbf{D},h,\xi ,ϵ$

输出：$\mathcal{C}$ （基于密度的聚类）

1. $\mathcal{A}\leftarrow \varnothing$

2. 对每一个 $\mathbf{x}\in \mathbf{D}$:

   2.1 ${\mathbf{x}}^{\ast }\leftarrow FINDATTRACTOR(\mathbf{x},\mathbf{D},h,\xi ,ϵ)$

   2.2 $R({\mathbf{x}}^{\ast })\leftarrow \varnothing$

   2.3 if $\hat{f}({\mathbf{x}}^{\ast })\ge \xi$ then:

   2.4 A ← A ∪ { x ∗ } \mathcal{A}\leftarrow \mathcal{A}\cup\{ \mathbf{x}^*\} A←A∪{x∗}

   2.5 R ( x ∗ ) ← R ( x ∗ ) ∪ { x ∗ } R(\mathbf{x}^*)\leftarrow R(\mathbf{x}^*)\cup\{ \mathbf{x}^* \} R(x∗)←R(x∗)∪{x∗}

3. C ← { maximal  C ⊆ A ∣ ∀ x i ∗ , x j ∗ ∈ C , 满 足 D e f   2 条 件 3 } \mathcal{C}\leftarrow\{\text{maximal}\ C \subseteq \mathcal{A}| \forall\mathbf{x}^*_i,\mathbf{x}^*_j \in C, 满足 Def \ 2 条件3 \} C←{maximal C⊆A∣∀xi∗​,xj∗​∈C,满足Def 2条件3}

4. $\forall C\in \mathcal{C}:$

   4.1 对每一个 ${\mathbf{x}}^{\ast }\in C$，令 $C\leftarrow C\cup R({\mathbf{x}}^{\ast })$

5. Return $\mathcal{C}$

$FINDATTRACTOR(\mathbf{x},\mathbf{D},h,\xi ,ϵ)$:

1. $t\leftarrow 0$

2. ${\mathbf{x}}_t=\mathbf{x}$

3. Repeat:

   ${\mathbf{x}}_{t+1}\leftarrow \frac{\sum _{i=1}^{n}K\left(\frac{{\mathbf{x}}_t-{\mathbf{x}}_i}{h}\right)\cdot {\mathbf{x}}_i}{\sum _{i=1}^{n}K\left(\frac{{\mathbf{x}}_t-{\mathbf{x}}_i}{h}\right)}$

   $t\leftarrow t+1$

4. Until $||{\mathbf{x}}_t-{\mathbf{x}}_{t-1}||<ϵ$

Chapter 20: Linear Discriminant Analysis

Set up： D = { ( x i , y i ) } i = 1 n \mathbf{D}=\{(\mathbf{x}_i,y_i) \}_{i=1}^n D={(xi​,yi​)}i=1n​， 其中 $y_i=1,2$（或 $\pm 1$ 等）， D 1 = { x i ∣ y i = 1 } \mathbf{D}_1=\{\mathbf{x}_i|y_i=1 \} D1​={xi​∣yi​=1}， D 2 = { x i ∣ y i = 2 } \mathbf{D}_2=\{\mathbf{x}_i|y_i=2 \} D2​={xi​∣yi​=2}

Goal：寻找向量 $\mathbf{w}\in {\mathbb{R}}^d$ （代表直线方向）使得 ${\mathbf{D}}_1,{\mathbf{D}}_2$ 的“平均值”距离最大且“总方差”最小。

20.1 Normal LDA

设 $\mathbf{w}\in {\mathbb{R}}^d,{\mathbf{w}}^T\mathbf{w}=1$，则 ${\mathbf{x}}_i$ 在 $\mathbf{w}$ 方向上的投影为 ${\mathbf{x}}_i^{\prime }=\left(\frac{{\mathbf{w}}^T{\mathbf{x}}_i}{{\mathbf{w}}^T\mathbf{u}}\right)\mathbf{w}=a_i\mathbf{w},a_i={\mathbf{w}}^T{\mathbf{x}}_i$

则 ${\mathbf{D}}_1$ 中数据在 $\mathbf{w}$ 上的投影平均值为：（$|{\mathbf{D}}_1|=n_1$）
$$m_1:=\frac{1}{n_1}\sum _{{\mathbf{x}}_i\in {\mathbf{D}}_1}{a}_i={\mathbf{\mu }}_1^T\mathbf{w}$$
投影平均值等于平均值的投影。

类似地： ${\mathbf{D}}_2$ 中数据在 $\mathbf{w}$ 上的投影平均值为：
$$m_2:=\frac{1}{n_2}\sum _{{\mathbf{x}}_i\in {\mathbf{D}}_2}{a}_i={\mathbf{\mu }}_2^T\mathbf{w}$$
目标之一：寻找 $\mathbf{w}$ 使得 $(m_1-m_2{)}^2$ 最大。

对于 ${\mathbf{D}}_i$，定义：
$$s_i^2=\sum _{{\mathbf{x}}_k\in {\mathbf{D}}_i}(a_k-m_i{)}^2$$
注意：$s_i^2=n_i{\sigma }_i^2(|D_i|=n_i)$

Goal：Fisher LDA目标函数：
$$\underset{\mathbf{w}}{\max }J(\mathbf{w})=\frac{(m_1-m_2{)}^2}{s_1^2+s_2^2}$$
注意：$J(\mathbf{w})=J(w_1,w_2,\cdots ,w_d)$
$$\begin{array}{rl}{\left(m_1-m_2\right)}^2& ={\left({\mathbf{w}}^T\left({\mathbf{\mu }}_1-{\mathbf{\mu }}_2\right)\right)}^2\\ & ={\mathbf{w}}^T\left(\left({\mathbf{\mu }}_1-{\mathbf{\mu }}_2\right){\left({\mathbf{\mu }}_1-{\mathbf{\mu }}_2\right)}^T\right)\mathbf{w}\\ & ={\mathbf{w}}^T\mathbf{B}\mathbf{w}\end{array}$$

$\mathbf{B}$ 被称为类间扩散矩阵

$$\begin{array}{rl}{s}_1^2& =\sum _{{\mathbf{x}}_i\in {\mathbf{D}}_1}{\left(a_i-m_1\right)}^2\\ & =\sum _{{\mathbf{x}}_i\in {\mathbf{D}}_1}{\left({\mathbf{w}}^T{\mathbf{x}}_i-{\mathbf{w}}^T{\mathbf{\mu }}_1\right)}^2\\ & =\sum _{{\mathbf{x}}_i\in {\mathbf{D}}_1}{\left({\mathbf{w}}^T\left({\mathbf{x}}_i-{\mathbf{\mu }}_1\right)\right)}^2\\ & ={\mathbf{w}}^T\left(\sum _{{\mathbf{x}}_i\in {\mathbf{D}}_1}\left({\mathbf{x}}_i-{\mathbf{\mu }}_1\right){\left({\mathbf{x}}_i-{\mathbf{\mu }}_1\right)}^T\right)\mathbf{w}\\ & ={\mathbf{w}}^T{\mathbf{S}}_1\mathbf{w}\end{array}$$

${\mathbf{S}}_1$ 被称为 ${\mathbf{D}}_1$ 的扩散矩阵 ${\mathbf{S}}_1=n_1{\Sigma }_1$

类似地，$s_2^2={\mathbf{w}}^T{\mathbf{S}}_2\mathbf{w}$

令 $\mathbf{S}={\mathbf{S}}_1+{\mathbf{S}}_2$，则
$$\underset{\mathbf{w}}{\max }J(\mathbf{w})=\frac{(m_1-m_2{)}^2}{s_1^2+s_2^2}=\frac{{\mathbf{w}}^T\mathbf{B}\mathbf{w}}{{\mathbf{w}}^T\mathbf{S}\mathbf{w}}$$

注意：
$$\frac{d}{d\mathbf{w}}J(\mathbf{w})=\frac{2\mathbf{B}\mathbf{w}({\mathbf{w}}^T\mathbf{S}\mathbf{w})-2\mathbf{S}\mathbf{w}({\mathbf{w}}^T\mathbf{B}\mathbf{w})}{({\mathbf{w}}^T\mathbf{S}\mathbf{w}{)}^2}=0$$
即有：
$$\begin{array}{rl}\mathbf{B}\mathbf{w}({\mathbf{w}}^T\mathbf{S}\mathbf{w})& =\mathbf{S}\mathbf{w}({\mathbf{w}}^T\mathbf{B}\mathbf{w})\\ \mathbf{B}\mathbf{w}& =\mathbf{S}\mathbf{w}\cdot \frac{{\mathbf{w}}^T\mathbf{B}\mathbf{w}}{{\mathbf{w}}^T\mathbf{S}\mathbf{w}}\\ \mathbf{B}\mathbf{w}& =J(\mathbf{w})\cdot \mathbf{S}\mathbf{w}(\ast )\end{array}$$
若 ${\mathbf{S}}^{-1}$ 存在，则
$${\mathbf{S}}^{-1}\mathbf{B}\mathbf{w}=J(\mathbf{w})\cdot \mathbf{w}$$
故要求最大 $J(\mathbf{w})$ ，只需 ${\mathbf{S}}^{-1}\mathbf{B}$ 的最大特征值，$\mathbf{w}$ 为其特征向量。

☆ 不求特征向量求出 $\mathbf{w}$ 的方法

将 $\mathbf{B}=({\mathbf{\mu }}_1-{\mathbf{\mu }}_2)({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^T$ 代入 $(\ast )$ 得
$$\begin{array}{rl}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2)({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^T\mathbf{w}& =J(\mathbf{w})\cdot \mathbf{S}\mathbf{w}\\ {\mathbf{S}}^{-1}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2)[\frac{({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^T\mathbf{w}}{J(\mathbf{w})}]& =\mathbf{w}\end{array}$$
故只需计算 ${\mathbf{S}}^{-1}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2)$，再单位化。

20.2 Kernel LDA：

事实1：如果 $\left({\mathbf{S}}_{\varphi }^{-1}{\mathbf{B}}_{\varphi }\right)\mathbf{w}=\lambda \mathbf{w}$，那么 $\mathbf{w}=\sum _{j=1}^n{a}_j\varphi ({\mathbf{x}}_j)$，证明见讲稿最后两页。

令 $\mathbf{a}=(a_1,\cdots ,a_n{)}^T$ 是“事实1”中的向量。

下面将 $\underset{\mathbf{w}}{\max }J(\mathbf{w})=\frac{(m_1-m_2{)}^2}{s_1^2+s_2^2}=\frac{{\mathbf{w}}^T{\mathbf{B}}_{\varphi }\mathbf{w}}{{\mathbf{w}}^T{\mathbf{S}}_{\varphi }\mathbf{w}}$ 的问题转化为 $\max G(\mathbf{a})$ s.t. 使用 $\mathbf{K}$ 能求解。

注意到：
$$\begin{array}{rl}{m}_i={\mathbf{w}}^T{\mathbf{\mu }}_i^{\varphi }& ={\left(\sum _{j=1}^n{a}_j\varphi \left({\mathbf{x}}_j\right)\right)}^T\left(\frac{1}{n_i}\sum _{{\mathbf{x}}_i\in {\mathbf{D}}_i}\varphi \left({\mathbf{x}}_k\right)\right)\\ & =\frac{1}{n_i}\sum _{j=1}^n\sum _{{\mathbf{x}}_k\in {\mathbf{D}}_i}{a}_j\varphi {\left({\mathbf{x}}_j\right)}^T\varphi \left({\mathbf{x}}_k\right)\\ & =\frac{1}{n_i}\sum _{j=1}^n\sum _{{\mathbf{x}}_k\in {\mathbf{D}}_i}{a}_{j}K\left({\mathbf{x}}_j,{\mathbf{x}}_k\right)\\ & ={\mathbf{a}}^T{\mathbf{m}}_i\end{array}$$
其中，
$${\mathbf{m}}_i=\frac{1}{n_i}{\left(\begin{array}{c}\sum _{{\mathbf{x}}_k\in {\mathbf{D}}_i}K\left({\mathbf{x}}_1,{\mathbf{x}}_k\right)\\ \sum _{{\mathbf{x}}_k\in {\mathbf{D}}_i}K\left({\mathbf{x}}_2,{\mathbf{x}}_k\right)\\ ⋮\\ \sum _{{\mathbf{x}}_k\in {\mathbf{D}}_i}K\left({\mathbf{x}}_n,{\mathbf{x}}_k\right)\end{array}\right)}_{n\times 1}$$
故
$$\begin{array}{rl}{\left(m_1-m_2\right)}^2& ={\left({\mathbf{w}}^T{\mathbf{\mu }}_1^{\varphi }-{\mathbf{w}}^T{\mathbf{\mu }}_2^{\varphi }\right)}^2\\ & ={\left({\mathbf{a}}^T{\mathbf{m}}_1-{\mathbf{a}}^T{\mathbf{m}}_2\right)}^2\\ & ={\mathbf{a}}^T\left({\mathbf{m}}_1-{\mathbf{m}}_2\right){\left({\mathbf{m}}_1-{\mathbf{m}}_2\right)}^T\mathbf{a}\\ & ={\mathbf{a}}^T\mathbf{M}\mathbf{a}\end{array}$$
（$\mathbf{M}$ 被称为核类间扩散矩阵）
$$\begin{array}{rl}{s}_1^2& =\sum _{{\mathbf{x}}_i\in {\mathbf{D}}_1}{\Vert {\mathbf{w}}^T\varphi \left({\mathbf{x}}_i\right)-{\mathbf{w}}^T{\mathbf{\mu }}_1^{\varphi }\Vert }^2\\ & =\sum _{{\mathbf{x}}_i\in {\mathbf{D}}_1}{\Vert {\mathbf{w}}^T\varphi \left({\mathbf{x}}_i\right)\Vert }^2-2\sum _{{\mathbf{x}}_i\in {\mathbf{D}}_1}{\mathbf{w}}^T\varphi \left({\mathbf{x}}_i\right)\cdot {\mathbf{w}}^T{\mathbf{\mu }}_1^{\varphi }+\sum _{{\mathbf{x}}_i\in {\mathbf{D}}_1}{\Vert {\mathbf{w}}^T{\mathbf{\mu }}_1^{\varphi }\Vert }^2\\ & =\left(\sum _{{\mathbf{x}}_i\in {\mathbf{D}}_1}{\Vert \sum _{j=1}^n{a}_j\varphi {\left({\mathbf{x}}_j\right)}^T\varphi \left({\mathbf{x}}_i\right)\Vert }^2\right)-2\cdot n_1\cdot {\Vert {\mathbf{w}}^T{\mathbf{\mu }}_1^{\varphi }\Vert }^2+n_1\cdot {\Vert {\mathbf{w}}^T{\mathbf{\mu }}_1^{\varphi }\Vert }^2\\ & =\left(\sum _{{\mathbf{x}}_i\in {\mathbf{D}}_1}{\mathbf{a}}^T{\mathbf{K}}_i{\mathbf{K}}_i^T\mathbf{a}\right)-n_1\cdot {\mathbf{a}}^T{\mathbf{m}}_1{\mathbf{m}}_1^T\mathbf{a}\\ & ={\mathbf{a}}^T\left(\left(\sum _{{\mathbf{x}}_i\in {\mathbf{D}}_1}{\mathbf{K}}_i{\mathbf{K}}_i^T\right)-n_1{\mathbf{m}}_1{\mathbf{m}}_1^T\right)\mathbf{a}\\ & ={\mathbf{a}}^T{\mathbf{N}}_1\mathbf{a}\end{array}$$
类似地，令 ${\mathbf{N}}_2=\left(\sum _{{\mathbf{x}}_i\in {\mathbf{D}}_2}{\mathbf{K}}_i{\mathbf{K}}_i^T-n_2{\mathbf{m}}_2{\mathbf{m}}_2^T\right)$

则 $s_1^2+s_2^2={\mathbf{a}}^T({\mathbf{N}}_1+{\mathbf{N}}_2)\mathbf{a}={\mathbf{a}}^T\mathbf{N}\mathbf{a}$

故：$J(\mathbf{w})=\frac{{\mathbf{a}}^T\mathbf{M}\mathbf{a}}{{\mathbf{a}}^T\mathbf{N}\mathbf{a}}:=G(\mathbf{a})$

类似 20.1，$\mathbf{M}\mathbf{a}=\lambda \mathbf{N}\mathbf{a}$

• 若 ${\mathbf{N}}^{-1}$ 存在，${\mathbf{N}}^{-1}\mathbf{M}\mathbf{a}=\lambda \mathbf{a}$，$\lambda$ 取 ${\mathbf{N}}^{-1}\mathbf{M}$ 的最大特征值，$\mathbf{a}$ 是相应的特征向量。

• 若 ${\mathbf{N}}^{-1}$ 不存在，MATLAB 求广义逆

最后考查 ${\mathbf{w}}^T\mathbf{w}=1$，即

$$\begin{array}{rl}(\sum _{j=1}^n{a}_j\varphi ({\mathbf{x}}_j){)}^T(\sum _{i=1}^n{a}_i\varphi ({\mathbf{x}}_i))& =1\\ \sum _{j=1}^n\sum _{i=1}^n{a}_j{a}_i\varphi ({\mathbf{x}}_j{)}^T\varphi ({\mathbf{x}}_i)& =1\\ \sum _{j=1}^n\sum _{i=1}^n{a}_j{a}_{i}K({\mathbf{x}}_i,{\mathbf{x}}_j)& =1\\ {\mathbf{a}}^T\mathbf{K}\mathbf{a}& =1\end{array}$$
求出 ${\mathbf{N}}^{-1}\mathbf{M}$ 的特征向量 $\mathbf{a}$ 后，$\mathbf{a}\leftarrow \frac{\mathbf{a}}{\sqrt{{\mathbf{a}}^T\mathbf{K}\mathbf{a}}}$ 以保证 ${\mathbf{w}}^T\mathbf{w}=1$

Chapter 21: Support Vector Machines (SVM)

21.1 支撑向量与余量

Set up： D = { ( x i , y i ) } i = 1 n , x i ∈ R d , y i ∈ { − 1 , 1 } \mathbf{D}=\{(\mathbf{x}_i,y_i) \}_{i=1}^n,\mathbf{x}_i \in \mathbb{R}^d,y_i \in \{-1,1 \} D={(xi​,yi​)}i=1n​,xi​∈Rd,yi​∈{−1,1}，仅两类数据。

• 超平面 (hyperplanes，$d-1$ 维)：$h(\mathbf{x}):={\mathbf{w}}^T\mathbf{x}+b=w_1{x}_1+\cdots +w_d{x}_d+b$

  其中，$\mathbf{w}$ 是法向量，$-\frac{b}{w_i}$ 是 $x_i$ 轴上的截距。

• $\mathbf{D}$ 称为是线性可分的，如果存在 $h(\mathbf{x})$ 使得对所有 $y_i=1$ 的点 ${\mathbf{x}}_i$ 有 $h({\mathbf{x}}_i)>0$ ，且对所有 $y_i=-1$ 的点 ${\mathbf{x}}_i$ 有 $h({\mathbf{x}}_i)<0$ ，并将此 $h(\mathbf{x})$ 称为分离超平面。

  Remark：对于线性可分的 $\mathbf{D}$ ，分离超平面有无穷多个。

• 点到超平面的距离：
  $$\begin{gathered} \mathbf{x}={\mathbf{x}}_p+{\mathbf{x}}_r={\mathbf{x}}_p+r\cdot \frac{\mathbf{w}}{||\mathbf{w}||} \\ \begin{array}{rl}h(\mathbf{x})& =h\left({\mathbf{x}}_p+r\frac{\mathbf{w}}{\Vert \mathbf{w}\Vert }\right)\\ & ={\mathbf{w}}^T\left({\mathbf{x}}_p+r\frac{\mathbf{w}}{\Vert \mathbf{w}\Vert }\right)+b\\ & =\underset{h\left({\mathbf{x}}_p\right)}{\underbrace{{\mathbf{w}}^T{\mathbf{x}}_p+b}}+r\frac{{\mathbf{w}}^T\mathbf{w}}{\Vert \mathbf{w}\Vert }\\ & =\underset{0}{\underbrace{h\left({\mathbf{x}}_p\right)}}+r\Vert \mathbf{w}\Vert \\ & =r\Vert \mathbf{w}\Vert \end{array} \end{gathered}$$

  $\therefore r=\frac{h(\mathbf{x})}{\Vert \mathbf{w}\Vert },|r|=\frac{|h(\mathbf{x}|)}{\Vert \mathbf{w}\Vert }$

故 $\forall {\mathbf{x}}_i\in \mathbf{D}$ 到 $h(\mathbf{x})$ 的距离是 $y_i\frac{h({\mathbf{x}}_i)}{\Vert \mathbf{w}\Vert }$

• 给定线性可分的 $\mathbf{D}$ ，及分离超平面 $h(\mathbf{x})$ ，定义余量：
  δ ∗ = min ⁡ x i { y i ( w T x i + b ) ∥ w ∥ } \delta^*=\min\limits_{\mathbf{x}_i}\{\frac{y_i(\mathbf{w}^T\mathbf{x}_i+b)}{\|\mathbf{w}\|} \} δ∗=xi​min​{∥w∥yi​(wTxi​+b)​}
  即 $\mathbf{D}$ 中点到 $h(\mathbf{x})$ 距离的最小值，使得该 ${\delta }^{\ast }$ 取到的数据点 ${\mathbf{x}}_i$ 被称为支撑向量（可能不唯一）。

• 标准超平面：对 $\forall h(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b$，以及任意 s ∈ R ∖ { 0 } s\in \mathbb{R}\setminus \{0\} s∈R∖{0}，$s({\mathbf{w}}^T\mathbf{x}+b)=0$ 与 $h(\mathbf{x})=0$ 是同一超平面。

  设 ${\mathbf{x}}^{\ast }$ 是支撑向量，若 $s{y}^{\ast }({\mathbf{w}}^T{\mathbf{x}}^{\ast }+b)=1(1)$ ，则称 $sh(\mathbf{x})=0$ 是标准超平面。

  由 $(1)$ 可得：$s=\frac{1}{y^{\ast }({\mathbf{w}}^T{\mathbf{x}}^{\ast }+b)}=\frac{1}{y^{\ast }h({\mathbf{x}}^{\ast })}$

  此时，对于 $sh(\mathbf{x})=0$ ，余量 ${\delta }^{\ast }=\frac{y^{\ast }h({\mathbf{x}}^{\ast })}{\Vert \mathbf{w}\Vert }=\frac{1}{\Vert \mathbf{w}\Vert }$

事实：如果 ${\mathbf{w}}^T\mathbf{x}+b=0$ 是标准超平面，对 $\forall {\mathbf{x}}_i$ ，一定有 $y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1$

21.2 SVM: 线性可分情形

目标：寻找标准分离超平面使得其余量最大，即 h ∗ = arg ⁡ max ⁡ w , b { 1 w } h^*=\arg\max\limits_{\mathbf{w},b}\{\frac{1}{\mathbf{w}} \} h∗=argw,bmax​{w1​}

转为优化问题：
min ⁡ w , b   { ∥ w ∥ 2 2 } s.t.  y i ( w T x i + b ) ≥ 1 , ∀ ( x i , y i ) ∈ D \begin{aligned} &\min\limits_{\mathbf{w},b}\ \{\frac{\|\mathbf{w}\|^2}{2} \}\\ &\text{s.t.} \ y_i(\mathbf{w}^T\mathbf{x}_i+b)\ge1,\forall(\mathbf{x}_i,y_i)\in \mathbf{D} \end{aligned} ​w,bmin​ {2∥w∥2​}s.t. yi​(wTxi​+b)≥1,∀(xi​,yi​)∈D​
引入 Lagrange 乘子 ${\alpha }_i\ge 0$ 与 KKT 条件：
$${\alpha }_i(y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1)=0$$
定义：
$$L(\mathbf{w})=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-\sum _{i=1}^n{\alpha }_i(y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1)(2)$$

$$\begin{array}{l}\frac{\partial }{\partial \mathbf{w}}L=\mathbf{w}-\sum _{i=1}^n{\alpha }_i{y}_i{\mathbf{x}}_i=0(3)\\ \frac{\partial }{\partial b}L=\sum _{i=1}^n{\alpha }_i{y}_i=0(4)\end{array}$$

将 (3)(4) 代入 (2) 得：
$$\begin{array}{rl}{L}_{dual}& =\frac{1}{2}{\mathbf{w}}^T\mathbf{w}-{\mathbf{w}}^T(\underset{\mathbf{w}}{\underbrace{\sum _{i=1}^n{\alpha }_i{y}_i{\mathbf{x}}_i}})-b\underset{0}{\underbrace{\sum _{i=1}^n{\alpha }_i{y}_i}}+\sum _{i=1}^n{\alpha }_i\\ & =-\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{i=1}^n{\alpha }_i\\ & =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j\end{array}$$
故对偶问题为：
$$\begin{array}{rl}& \underset{\alpha }{\max }{L}_{dual}=\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j\\ & \text{s.t.}\sum _{i=1}^n{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,\forall i\end{array}$$
利用二次规划解出 Dual：${\alpha }_1,\cdots ,{\alpha }_n$

代入 (3) 可得：$\mathbf{w}=\sum _{i=1}^n{\alpha }_i{y}_i{\mathbf{x}}_i$

使得 ${\alpha }_i>0$ 的数据 ${\mathbf{x}}_i$ 给出支撑向量。

对于每一个支撑向量：$y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1\Rightarrow b=\frac{1}{y_i}-{\mathbf{w}}^T{\mathbf{x}}_i$

取 b = a v g α i > 0 { b i } b=\mathop{avg}_{\alpha_i>0}\{b_i\} b=avgαi​>0​{bi​}