模式识别课程总结提要

1 贝叶斯决策方法

1.1 贝叶斯决策

假设：

1. 分类数已知
2. 各类别类条件概率分布已知

先验概率：$P\left({\omega }_1\right),P\left({\omega }_2\right)$

后验概率：

$$P\left({\omega }_1|x\right)=\frac{P\left({\omega }_1,x\right)}{P(x)}=\frac{P\left(x|{\omega }_1\right)P\left({\omega }_1\right)}{{\sum }_{i}P\left(x|{\omega }_i\right)P\left({\omega }_i\right)}$$

贝叶斯决策：后验概率大的类

$$P\left({\omega }_1|x\right)>P\left({\omega }_2|x\right)\Rightarrow x\in {\omega }_1$$

等价形式：

$$P\left({\omega }_i|x\right)=\underset{j}{\max }P\left({\omega }_j|x\right)\Rightarrow x\in {\omega }_i$$

1.2 最小错误率贝叶斯决策

最小错误率决策：

$$P\left({\omega }_i|x\right)=\underset{j}{\max }P\left({\omega }_j|x\right)\Rightarrow x\in {\omega }_i$$

等价形式：

$$P\left(x|{\omega }_i\right)P\left({\omega }_i\right)=\underset{j}{\max }P\left(x|{\omega }_j\right)P\left({\omega }_j\right)\Rightarrow x\in {\omega }_i$$

似然比：

$$l(x)=\frac{P\left(x|{\omega }_1\right)}{P\left(x|{\omega }_2\right)}>\frac{P\left({\omega }_2\right)}{P\left({\omega }_1\right)}\Rightarrow x\in {\omega }_1$$

负对数似然：

$$h(x)=-\ln \left[l(x)\right]<\ln \frac{P\left({\omega }_1\right)}{P\left({\omega }_2\right)}\Rightarrow x\in {\omega }_1$$

错误率：

$$P\left(e\right)\triangleq {\int }_{-\infty }^{\infty }p\left(e,x\right)\mathrm{d}x={\int }_{-\infty }^{\infty }P\left(e|x\right)p(x)\mathrm{d}x$$

其中错误后验概率为

P ( e ∣ x ) = min ⁡ { P ( ω 1 ∣ x ) , P ( ω 2 ∣ x ) } P\left(e|x \right)=\min \left\{ P\left(\omega_1|x \right), P\left(\omega_2|x \right)\right\} P(e∣x)=min{P(ω1​∣x),P(ω2​∣x)}

最小错误率导出决策：

$$\min P\left(e\right)\Rightarrow \max P\left({\omega }_i|x\right)$$

两类错误率：使用先验概率与类条件概率密度计算

$$\begin{array}{rl}P\left(e\right)& =P\left(x\in {\mathcal{R}}_1,{\omega }_2\right)+P\left(x\in {\mathcal{R}}_2,{\omega }_1\right)\\ & =P\left(x\in {\mathcal{R}}_1|{\omega }_2\right)P\left({\omega }_2\right)+P\left(x\in {\mathcal{R}}_2|{\omega }_1\right)P\left({\omega }_1\right)\\ & =P\left({\omega }_2\right){\int }_{{\mathcal{R}}_1}p\left(x|{\omega }_2\right)\mathrm{d}x+P\left({\omega }_1\right){\int }_{{\mathcal{R}}_2}p\left(x|{\omega }_1\right)\mathrm{d}x\\ & =P\left({\omega }_2\right)P_2\left(e\right)+P\left({\omega }_1\right)P_1\left(e\right)\end{array}$$

多类错误率：通过平均正确率来计算平均错误率

$$\begin{array}{rl}P\left(c\right)& =\sum _{j=1}^{c}P\left(x\in {\mathcal{R}}_j|{\omega }_j\right)P\left({\omega }_j\right)\\ & =\sum _{j=1}^c{\int }_{{\mathcal{R}}_j}p\left(x|{\omega }_j\right)P\left({\omega }_j\right)\mathrm{d}x\end{array}$$

$$\begin{array}{rl}P\left(e\right)& =\sum _{i=1}^c\sum _{j\ne i}P\left(x\in {\mathcal{R}}_j|{\omega }_i\right)P\left({\omega }_i\right)\\ & =1-P\left(c\right)\end{array}$$

1.3 最小风险贝叶斯决策

基本思想：不同的决策错误所带来的损失可能不同

决策论表述：样本 $x\in {\mathbb{R}}^d$ 看做随机向量

状态空间：$c$ 个可能的状态 (类别)

Ω = { ω 1 , ω 2 , … , ω c } \Omega =\left\{ \omega_1,\omega_2,\dots ,\omega_c \right\} Ω={ω1​,ω2​,…,ωc​}

决策空间：判定样本为某类或拒绝等

A = { α 1 , α 2 , … , α k } \mathcal{A} =\left\{ \alpha_1,\alpha_2,\dots ,\alpha_k \right\} A={α1​,α2​,…,αk​}

一般 $k⩾c$，

α i = { x ∈ ω i } , i = 1 , … , c \alpha_i=\left\{ x\in \omega_i \right\} , i=1,\dots ,c αi​={x∈ωi​},i=1,…,c

${\alpha }_{c+1}=\mathrm{r}\mathrm{e}\mathrm{j}\mathrm{e}\mathrm{c}\mathrm{t}$ 等

损失函数：实际为 ${\omega }_j$ 类判定为 ${\alpha }_i$ 的损失 $\lambda \left({\alpha }_i,{\omega }_j\right)$ →决策表

期望损失：

$$\begin{array}{rl}R\left({\alpha }_i|x\right)& =\mathbb{E}\left[\lambda \left({\alpha }_i,{\omega }_j\right)|x\right]\\ & =\sum _j\lambda \left({\alpha }_i,{\omega }_j\right)P\left({\omega }_j|x\right)\end{array}$$

期望风险：

$$R\left(\alpha \right)={\int }_{-\infty }^{\infty }R\left(\alpha |x\right)p(x)\mathrm{d}x$$

最小风险决策：

$$\min R\left(\alpha \right)\Rightarrow \alpha ={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}_{j}R\left({\alpha }_j|x\right)$$

与最小错误率决策等价：0-1 决策表

$$\lambda \left({\alpha }_i,{\omega }_j\right)=1-{\delta }_{ij}$$

则

$$\begin{array}{rl}R\left({\alpha }_i|x\right)& =\sum _j\lambda \left({\alpha }_i,{\omega }_j\right)P\left({\omega }_j|x\right)\\ & =\sum _{j\ne i}P\left({\omega }_j|x\right)\\ & =1-P\left({\omega }_i|x\right)\end{array}$$

因此

$$\begin{array}{rl}\min R\left(\alpha \right)& \Rightarrow \underset{j}{\min }R\left({\alpha }_j|x\right)\\ & \Rightarrow \alpha ={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}_{j}P\left({\omega }_j|x\right)\end{array}$$

似然比：

$$l(x)=\frac{P\left(x|{\omega }_1\right)}{P\left(x|{\omega }_2\right)}>\frac{P\left({\omega }_2\right)}{P\left({\omega }_1\right)}\frac{{\lambda }_{12}-{\lambda }_{22}}{{\lambda }_{21}-{\lambda }_{11}}\Rightarrow x\in {\omega }_1$$

1.4 限定一类错误率条件下使另一类错误率最小

Neyman-Pearson 决策：优化问题

min ⁡ { P 1 ( e ) ∣ P 2 ( e ) − ϵ 0 = 0 } \min \left\{ P_1\left(e \right)|P_2\left(e \right)-\epsilon_0=0 \right\} min{P1​(e)∣P2​(e)−ϵ0​=0}

$$\begin{array}{rl}L& =P_1\left(e\right)+\lambda \left(P_2\left(e\right)-{ϵ}_0\right)\\ & ={\int }_{{\mathcal{R}}_2}p\left(x|{\omega }_1\right)\mathrm{d}x+\lambda \left({\int }_{{\mathcal{R}}_1}p\left(x|{\omega }_2\right)\mathrm{d}x-{ϵ}_0\right)\\ & =1-\lambda {ϵ}_o+{\int }_{{\mathcal{R}}_1}\left[\lambda p\left(x|{\omega }_2\right)-p\left(x|{\omega }_1\right)\right]\mathrm{d}x\end{array}$$

梯度条件：决策边界满足

$$\lambda =\frac{p\left(x|{\omega }_1\right)}{p\left(x|{\omega }_2\right)},P_2\left(e\right)={ϵ}_0$$

决策规则：

$$\lambda p\left(x|{\omega }_2\right)-p\left(x|{\omega }_1\right)<0\Rightarrow x\in {\omega }_1$$

似然比：

$$l(x)=\frac{p\left(x|{\omega }_1\right)}{p\left(x|{\omega }_2\right)}>\lambda \Rightarrow x\in {\omega }_1$$

对偶变量求解：通过 $l(x)$ 的映射关系，可由 $p(x)$ 求得 $p\left(l|{\omega }_2\right)$，则由定义可知误差率为

$$\begin{array}{rl}{P}_2\left(e\right)& =1-{\int }_0^{\lambda }p\left(l|{\omega }_2\right)\mathrm{d}l\\ & ={ϵ}_0\Rightarrow \lambda \end{array}$$

1.5 朴素贝叶斯

随机向量分量独立：

$$p\left(\vec{x}|\omega \right)=p\left(x_1,\dots ,x_d|\omega \right)\triangleq \prod _{i}p\left(x_i|\omega \right)$$

1.6 判别函数与正态分布

判别函数：$g_i(x)$，例如后验概率

$$g_i(x)=P\left({\omega }_i|x\right)$$

取分子

$$g_i(x)=p\left(x|{\omega }_i\right)P\left({\omega }_i\right)$$

取对数

$$g_i(x)=\ln p\left(x|{\omega }_i\right)+\ln P\left({\omega }_i\right)$$

决策面方程：$g_i(x)=g_j(x)$

正态分布：

$$p(x)=\frac{1}{{\left(2\pi \right)}^{d/2}|\Sigma {|}^{1/2}}\exp \left\{-\frac{1}{2}{\left(x-\mu \right)}^{\top }{\Sigma }^{-1}\left(x-\mu \right)\right\}$$

维数 $d$，均值 $\mu =\mathbb{E}\left[x\right]$，协方差

$$\Sigma =\mathbb{E}\left[\left(x-\mu \right){\left(x-\mu \right)}^{\top }\right]$$

贝叶斯判别：各类分布

$$p\left(x|{\omega }_i\right)\sim \mathcal{N}\left({\mu }_i,{\Sigma }_i\right)$$

则判别函数为

$$g_i(x)=-\frac{d}{2}\ln 2\pi -\frac{1}{2}\ln |{\Sigma }_i|+\ln P\left({\omega }_i\right)-\frac{1}{2}{\left(x-{\mu }_i\right)}^{\top }{\Sigma }_i^{-1}\left(x-{\mu }_i\right)$$

决策面方程：$g_i(x)=g_j(x)$，即

$$\begin{array}{rl}& -0.5\left[{\left(x-{\mu }_i\right)}^{\top }{\Sigma }_i^{-1}\left(x-{\mu }_i\right)-{\left(x-{\mu }_j\right)}^{\top }{\Sigma }_j^{-1}\left(x-{\mu }_j\right)\right]\\ & +\left[\ln P\left({\omega }_i\right)-\ln P\left({\omega }_j\right)\right]-0.5\left(\ln |{\Sigma }_i|-\ln |{\Sigma }_j|\right)=0\end{array}$$

1.7 分类性能评价 ROC 与 AUC

ROC (Receiver Operating Characteristic)：FP-TP 曲线，越靠近曲线左上角的点对应的阈值参数性能越好

混淆矩阵：两类分类问题

	实际为正类	实际为负类
预测为正类	TP	FP
预测为负类	FN	TN

AUC (Area Under ROC Curves)：ROC 曲线下方面积越大越好

例：给定样本标签

$$y=[10111000]$$

分类器输出结果为

$$S=[0.50.30.60.220.40.510.20.33]$$

则 FP 与 TP 计算如下:

class	score	FP	TP
1	0.6	0	0.25
0	0.51	0.25	0.25
1	0.5	0.25	0.5
1	0.4	0.25	0.75
1	0.33	0.5	0.75
0	0.3	0.75	0.75
0	0.22	0.75	1
0	0.2	0.1	1

2 概率密度函数估计

统计量：样本的分布信息，如均值，方差等

参数空间：未知参数向量 $\theta$ 全部可能取值的集合 $\Theta$

点估计：构造估计量 $d\left(x_1,\dots ,x_N\right)$ 作为 $\theta$ 的估计

区间估计：构造置信区间 $\left(d_1,d_2\right)$ 作为 $\theta$ 可能取值范围的估计

2.1 极大似然估计 (MLE, Maximum Likelihood Estimate)

假设：

1. 概率分布函数形式已知
2. 样本独立同分布采样得到

似然函数：

$$\begin{array}{rl}l\left(\theta \right)& =p\left(X|\theta \right)\\ & =p\left(x_1,\dots ,x_N|\theta \right)\\ & =\prod _{k}p\left(x_k|\theta \right)\end{array}$$

对数似然函数：

$$\begin{array}{rl}H\left(\theta \right)& =\ln l\left(\theta \right)\\ & =\sum _k\ln p\left(x_k|\theta \right)\end{array}$$

极大似然估计：

$$\begin{array}{rl}\theta & ={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}_{\theta \in \Theta }l\left(\theta \right)\\ & ={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}_{\theta \in \Theta }H\left(\theta \right)\end{array}$$

正态分布：待估计参数为 $\theta =\left[\mu ,{\sigma }^2\right]$, 数据点

X = { x 1 , … , x N } X=\left\{ x_1,\dots ,x_N \right\} X={x1​,…,xN​}

估计量为 $\hat{\theta }=\left[\hat{\mu },{\hat{\sigma }}^2\right]$

概率密度函数为

$$p\left(x_k|\theta \right)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left[-\frac{{\left(x_k-\mu \right)}^2}{2{\sigma }^2}\right]$$

取对数得

$$\ln p\left(x_k|\theta \right)=-\frac{1}{2}\ln \left(2\pi {\theta }_2\right)-\frac{{\left(x_k-{\theta }_1\right)}^2}{2{\theta }_2}$$

对 $\theta$ 求梯度有

$${\nabla }_{\theta }\ln p\left(x_k|\theta \right)=\left[\begin{array}{c}\frac{x_k-{\theta }_1}{{\theta }_2}\\ -\frac{1}{2{\theta }_2}+\frac{{\left(x_k-{\theta }_1\right)}^2}{2{\theta }_2^2}\end{array}\right]$$

又

$$\sum _{k=1}^N{\nabla }_{\theta }\ln p\left(x_k|\theta \right)=0$$

因此，估计量为
$$\begin{array}{rl}\hat{\mu }& =\frac{1}{N}\sum _{k=1}^N{x}_k\\ {\hat{\sigma }}^2& =\frac{1}{N}\sum _{k=1}^N{\left(x_k-\hat{\mu }\right)}^2\end{array}$$

多元正态分布：

$$\begin{array}{rl}\hat{\mu }& =\frac{1}{N}\sum _{k=1}^N{x}_k\\ \hat{\Sigma }& =\frac{1}{N}\sum _{k=1}^N\left(x_k-\hat{\mu }\right){\left(x_k-\hat{\mu }\right)}^{\top }\end{array}$$

无偏估计：

$$\mathbb{E}\left[\hat{\mu }\right]=\mu$$

$$\mathbb{E}\left[\frac{N}{N-1}\hat{\Sigma }\right]=\Sigma$$

渐进无偏估计：

$$\underset{n\to \infty }{\lim }\mathbb{E}\left[\hat{\Sigma }\right]=\Sigma$$

可识别性：对 $\theta \ne {\theta }^{\prime }$,

$$\exists x\Rightarrow p\left(x|\theta \right)\ne p\left(x|{\theta }^{\prime }\right)$$

离散随机变量的混合密度函数往往不可识别，连续的则一般可以识别

2.2 贝叶斯估计

假设：参数 $\theta$ 是随机变量，且已知其先验分布 $p\left(\theta \right)$

贝叶斯估计：后验概率

$$p\left(\theta |X\right)=p\left(X|\theta \right)p\left(\theta \right)/p(x)$$

贝叶斯学习：

$$\begin{array}{rl}p\left(x|X\right)& =\int p\left(x,\theta |X\right)\mathrm{d}\theta \\ & =\int p\left(x|\theta \right)p\left(\theta |X\right)\mathrm{d}\theta \end{array}$$

贝叶斯学习性质：

$$\underset{N\to \infty }{\lim }p\left(x|X^N\right)=p\left(x|\hat{\theta }=\theta \right)=p(x)$$

正态分布：

$$p\left(X|\mu \right)\sim \mathcal{N}\left(\mu ,{\sigma }^2\right)$$

$$p\left(\mu \right)\sim \mathcal{N}\left({\mu }_o,{\sigma }_0^2\right)$$

其中 ${\sigma }^2$ 已知，则有

$$\begin{array}{rl}p\left(\mu |X\right)& =\frac{p\left(X|\mu \right)p\left(\mu \right)}{p(x)}\\ & =\alpha \prod _{k}p\left(x_k|\mu \right)p\left(\mu \right)\\ & ={\alpha }^{\prime }\cdot \exp \left\{-\frac{1}{2}\left[\sum _{k=1}^N\frac{{\left(\mu -x_k\right)}^2}{{\sigma }^2}+\frac{{\left(\mu -{\mu }_0\right)}^2}{{\sigma }_0^2}\right]\right\}\\ & \triangleq \frac{1}{\sqrt{2\pi }{\sigma }_N}\exp \left[-\frac{{\left(\mu -{\mu }_N\right)}^2}{2{\sigma }_N^2}\right]\end{array}$$

其中

$${\sigma }_N^2=\frac{{\sigma }_0^2{\sigma }^2}{N{\sigma }_0^2+{\sigma }^2}$$

$${\mu }_N=\frac{N{\sigma }_0^2}{N{\sigma }_0^2+{\sigma }^2}{m}_N+\frac{{\sigma }^2}{N{\sigma }_0^2+{\sigma }^2}{\mu }_0$$

其中

$$m_N=\frac{1}{N}\sum _{k=1}^N{x}_k$$

因此

$$\begin{array}{rl}p\left(x|X\right)& =\int p\left(x|\mu \right)p\left(\mu |X\right)\mathrm{d}\mu \\ & \sim \mathcal{N}\left({\mu }_N,{\sigma }^2+{\sigma }_N^2\right)\end{array}$$

参数变化：

$${\sigma }_0=0\Rightarrow {\mu }_N={\mu }_0$$

$$N\uparrow \Rightarrow {\mu }_N\to m_N,{\sigma }_N^2\to 0$$

最大似然估计与贝叶斯估计对比：

1. 训练样本无穷多时，最大似然估计与贝叶斯估计结果相同
2. 贝叶斯估计使用先验概率利用了更多信息，若信息可靠则贝叶斯估计更准确，但有时先验概率很难设计，无信息先验
3. 最大似然估计计算简单，贝叶斯通常计算复杂的积分
4. 最大似然估计易于理解，给出的是参数的最佳估计结果

2.3 非参数估计

假设：

1. 概率分布函数形式未知
2. 样本独立同分布

直方图估计：

$${\hat{p}}_N(x)=\frac{k_N}{N{V}_N}\to p(x)$$

估计收敛条件：

$$V_N\to 0,k_N\to \infty ,k_N/N\to 0$$

2.4 Parzen 窗估计 (Kernel Density Estimation)

思想：固定小舱体积，滑动小舱估计每个点的概率密度

区域：$R_N$ 是 $d$ 维超立方体，棱长 $h_N$，体积 $V_N=h_N^d$

窗函数条件：$\varphi \left(u\right)⩾0,\int \varphi \left(u\right)\mathrm{d}u=1$

1. 方窗：
   $$\varphi \left(u\right)=\{\begin{array}{ll}1,& \mathrm{i}\mathrm{f}{\Vert u\Vert }_{\infty }⩽1/2\\ 0,& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}$$
2. 正态窗：
   $$\varphi \left(u\right)=\frac{1}{\sqrt{2\pi }}\exp \left(-\frac{1}{2}{u}^2\right),u\in \mathbb{R}$$
3. 指数窗：
   $$\varphi \left(u\right)=\frac{1}{2}\exp \left(-|u|\right),u\in \mathbb{R}$$

落入以 $x$ 为中心的区域的样本数：

$$k_N=\sum _{i=1}^N\varphi \left(\frac{x-x_i}{h_N}\right)$$

概率密度函数估计：

$${\hat{p}}_N(x)=\frac{1}{N}\sum _{i=1}^N\frac{1}{V_N}\varphi \left(\frac{x-x_i}{h_N}\right)$$

窗宽选取：$h_N=h_1/\sqrt{N}$，其中 $h_1$ 可调且一般存在最优值

估计量性质：一维正态窗

$$\begin{array}{rl}{\bar{p}}_N& =\mathbb{E}\left[{\hat{p}}_N(x)\right]\\ & \sim \mathcal{N}\left(\mu ,{\sigma }^2+h_N^2\right)\end{array}$$

2.5 $k_N$ 近邻估计

思想：固定小舱内数据点个数，滑动可变大小的小舱对每个采样点 (而不是数据点) 进行概率密度估计

数据点个数：$k_N=k_1\sqrt{N}$，其中 $k_1$ 可调且一般存在最优值

2.6 估计准确性、维数问题与过拟合

估计准确性：

1. 贝叶斯误差：不同的类条件概率分布函数之间的相互重叠
2. 模型误差：选择了错误的概率密度函数模型
3. 估计误差：采用有限样本进行估计所带来的误差

维数问题：维数为 $d$，需要样本 $100^d$ →维数灾难

过拟合避免方法：

1. 贝叶斯方法
2. 增加样本数
3. 正则化
4. 减少模型参数

3 EM 算法与高斯混合模型 GMM

3.1 EM 算法

思想：用隐变量对缺失数据建模，迭代实现最大似然估计

数据： X = { x 1 , … , x N } X=\left\{ x_1,\dots ,x_N \right\} X={x1​,…,xN​}，隐变量 $Y$，完整数据 $Z=\left(X,Y\right)$

似然函数：

$$\begin{array}{rl}l\left(\theta \right)& =p\left(X|\theta \right)\\ & =\sum _{y\in Y}p\left(X,y|\theta \right)\end{array}$$

对数似然函数：

$$\begin{array}{rl}L\left(\theta \right)& =\ln l\left(\theta \right)\\ & =\ln \sum _{y\in Y}p\left(X,y|\theta \right)\end{array}$$

对数似然函数的下界：应用 Jensen 不等式于对数函数可得

$$\begin{array}{rl}L\left(\theta \right)& =\ln \sum _{y}p\left(X,y|\theta \right)\\ & =\ln \sum _y\frac{q(y)p\left(X,y|\theta \right)}{q(y)}\\ & ⩾\sum _{y}q(y)\ln \frac{p\left(X,y|\theta \right)}{q(y)}\\ & =\sum _{y}q(y)\ln p\left(X,y|\theta \right)-\sum _{y}q(y)\ln q(y)\\ & \triangleq F\left(q,\theta \right)\end{array}$$

迭代优化下界：初始化 $q_{\left[0\right]},{\theta }_{\left[0\right]}$ 后反复迭代

$$\begin{array}{rl}{q}_{\left[k+1\right]}& \leftarrow {\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}_{q}F\left(q,{\theta }_{\left[k\right]}\right)\\ {\theta }_{\left[k+1\right]}& \leftarrow {\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}_{\theta }F\left(q_{\left[k+1\right]},\theta \right)\end{array}$$

期望：当 $q=p\left(y|X,{\theta }_{\left[k\right]}\right)$ 为后验概率时，$F\left(q,{\theta }_{\left[k\right]}\right)$ 达到最大

$$\begin{array}{rl}F\left(q,\theta \right)& =\sum _{y}q(y)\ln \frac{p\left(X,y|\theta \right)}{q(y)}\\ & =\sum _{y}p\left(y|X,\theta \right)\ln \frac{p\left(y|X,\theta \right)p\left(X|\theta \right)}{p\left(y|X,\theta \right)}\\ & =\sum _{y}p\left(y|X,\theta \right)\ln p\left(X|\theta \right)\\ & =\ln p\left(X|\theta \right)\\ & =L\left(\theta \right)\end{array}$$

$$\begin{array}{r}F\left(q_{\left[k+1\right]},\theta \right)=\sum _y{q}_{\left[k+1\right]}(y)\ln p\left(X,y|\theta \right)-\sum _y{q}_{\left[k+1\right]}(y)\ln q_{\left[k+1\right]}(y)\end{array}$$

第二项不包含优化变量 $\theta$ 可忽略，代入 $q_{\left[k+1\right]}(y)$ 并定义

$$\begin{array}{rl}Q\left({\theta }_{\left[k\right]},\theta \right)& \triangleq \sum _{y}p\left(y|X,{\theta }_{\left[k\right]}\right)\ln p\left(X,y|\theta \right)\\ & =\mathbb{E}\left[\ln p\left(X,y|\theta \right)|X,{\theta }_{\left[k\right]}\right]\end{array}$$

最大化：

$${\theta }_{\left[k+1\right]}\leftarrow {\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}_{\theta }Q\left({\theta }_{\left[k\right]},\theta \right)$$

广义最大化：

$${\theta }_{\left[k+1\right]}\in \left\{{\theta }_{\left[k+1\right]}|Q\left({\theta }_{\left[k\right]},{\theta }_{\left[k+1\right]}\right)>Q\left({\theta }_{\left[k\right]},{\theta }_{\left[k\right]}\right)\right\}$$

3.2 高斯混合模型 GMM

隐变量：$Y=\left\{y\in {\mathbb{R}}^N\right\}$ 表示样本 $x_i$ 由第 $y_i$ 个高斯分布产生

混合模型：

$$p\left(X|\Theta \right)={\Sigma }_j{\alpha }_j{p}_j\left(X|{\theta }_j\right)$$

其中

Θ = { α j , θ j } ,   ∑ j α j = 1 \Theta =\left\{ \alpha_j,\theta_j \right\},~\sum_j\alpha_j=1 Θ={αj​,θj​}, j∑​αj​=1

由独立同分布可得

$$\begin{array}{rl}p\left(X|\Theta \right)& =\prod _{i}p\left(x_i|\Theta \right)\\ & =\prod _i\sum _j{\alpha }_j{p}_j\left(x_i|{\theta }_j\right)\end{array}$$

对数似然函数：

$$\ln p\left(X|\Theta \right)=\sum _i\ln \sum _j{\alpha }_j{p}_j\left(x_i|{\theta }_j\right)$$

极大似然估计：

$${\nabla }_{\Theta }\ln p\left(X|\Theta \right)=0\Rightarrow \Theta$$

结果与EM相同

EM 算法：

$$p\left(X,y|\Theta \right)=\prod _{i}p\left(x_i|y_i\right)p\left(y_i\right)$$

$$\begin{array}{rl}\ln p\left(X,y|\Theta \right)& =\sum _i\ln p\left(x_i|y_i\right)p\left(y_i\right)\\ & =\sum _i\ln {\alpha }_{y_i}{p}_{y_i}\left(x_i|{\theta }_{y_i}\right)\end{array}$$

$$\begin{array}{rl}p\left(y|X,{\Theta }^g\right)& =\prod _{i}p\left(y_i|x_i,{\Theta }^g\right)\\ & =\prod _i{\alpha }_{y_i}^g\frac{p_{y_i}\left(x_i|{\theta }_{y_i}^g\right)}{p\left(x_i|{\Theta }^g\right)}\end{array}$$

$$\begin{array}{rl}Q\left({\Theta }^g,\Theta \right)& =\sum _{y}p\left(y|X,{\Theta }^g\right)\ln p\left(X,y|\Theta \right)\\ & =\sum _j\sum _i\ln \left({\alpha }_j{p}_j\left(x_i|{\theta }_j\right)\right)p\left(j|x_i,{\Theta }^g\right)\\ & =\sum _j\sum _{i}p\left(j|x_i,{\Theta }^g\right)\left[\ln {\alpha }_j+\ln p_j\left(x_i|{\theta }_j\right)\right]\end{array}$$

${\alpha }_j$ 与 ${\theta }_j$ 解耦可分别优化，由 ${\sum }_i{\alpha }_i=1$ 及梯度条件解得

$$\begin{array}{rl}{\alpha }_j^{\mathrm{n}\mathrm{e}\mathrm{w}}& =\frac{1}{N}\sum _{i}p\left(j|x_i,{\Theta }^g\right)\\ {\mu }_j^{\mathrm{n}\mathrm{e}\mathrm{w}}& =\frac{1}{N{\alpha }_j^{\mathrm{n}\mathrm{e}\mathrm{w}}}\sum _i{x}_{i}p\left(j|x_i,{\Theta }^g\right)\\ {\Sigma }_j^{\mathrm{n}\mathrm{e}\mathrm{w}}& =\frac{1}{N{\alpha }_j^{\mathrm{n}\mathrm{e}\mathrm{w}}}\sum _{i}p\left(j|x_i,{\Theta }^g\right)\left(x_i-{\mu }_j^{\mathrm{n}\mathrm{e}\mathrm{w}}\right){\left(x_i-{\mu }_j^{\mathrm{n}\mathrm{e}\mathrm{w}}\right)}^{\top }\end{array}$$

若限制各成分的协方差矩阵均相同，则 M 步需要修改为

$${\Sigma }^{\mathrm{n}\mathrm{e}\mathrm{w}}=\sum _j\sum _i\frac{p\left(j|x_i,{\Theta }^g\right)\left(x_i-{\mu }_j^{\mathrm{n}\mathrm{e}\mathrm{w}}\right){\left(x_i-{\mu }_j^{\mathrm{n}\mathrm{e}\mathrm{w}}\right)}^{\top }}{N{\sum }_j{\alpha }_j^{\mathrm{n}\mathrm{e}\mathrm{w}}}$$

例题：三维数据点，偶数点的第3维数据缺失，令 $x_{i3},i\in E$ 为隐变量，

$$x_i={\left[x_{i1},x_{i2},x_{i3}\right]}^{\top }$$

则对数似然函数为

$$\begin{array}{rl}L\left(\theta \right)& =\sum _{i\in O}\ln p\left(x_{i1},x_{i2},x_{i3}|\theta \right)+\sum _{i\in E}\ln p\left(x_{i1},x_{i2}|\theta \right)\\ & =\sim +\sum _{i\in E}\ln {\int }_{-\infty }^{+\infty }p\left(x_{i1},x_{i2},x_{i3}|\theta \right)\mathrm{d}{x}_{i3}\\ & =\sim +\sum _{i\in E}\ln {\int }_{-\infty }^{+\infty }\frac{q\left(x_{i3}\right)p\left(x_{i1},x_{i2},x_{i3}|\theta \right)}{q\left(x_{i3}\right)}\mathrm{d}{x}_{i3}\\ & ⩾\sim +\sum _{i\in E}{\int }_{-\infty }^{+\infty }q\left(x_{i3}\right)\ln \frac{p\left(x_{i1},x_{i2},x_{i3}|\theta \right)}{q\left(x_{i3}\right)}\mathrm{d}{x}_{i3}\end{array}$$

$$Q\left({\theta }_{\left[k\right]},\theta \right)=\sim +\sum _{i\in E}{\int }_{-\infty }^{+\infty }p\left(x_{i3}|x_{i1},x_{i2},{\theta }_{\left[k\right]}\right)\ln p\left({\vec{x}}_i|\theta \right)\mathrm{d}{x}_{i3}$$

4 线性判别函数

思想：

1. 不恢复类条件概率密度，利用样本直接设计分类器
2. 线性判别函数形式简单易分析，但往往不是最优分类器

线性判别函数：$g(x)=w^{\top }x+w_0$

两类问题：$g(x)=g_1(x)-g_2(x)$，分类决策为

$$\{\begin{array}{ll}x\in {\omega }_1,& \mathrm{i}\mathrm{f}g(x)>0\\ x\in {\omega }_2,& \mathrm{i}\mathrm{f}g(x)<0\\ \mathrm{e}\mathrm{i}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{o}\mathrm{r}\mathrm{r}\mathrm{e}\mathrm{j}\mathrm{e}\mathrm{c}\mathrm{t},& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}$$

点到直线距离：

$$r=\frac{g(x)}{\Vert w\Vert }$$

广义线性判别：

$$g(x)=w^{\top }x+w_0\triangleq a^{\top }y$$

其中增广样本向量为

$$y=\left[\begin{array}{c}1\\ x\end{array}\right]$$

增广权向量为

$$a=\left[\begin{array}{c}{w}_0\\ w\end{array}\right]$$

样本规范化：

$$y_i^{\prime }=\{\begin{array}{ll}{y}_i,& \mathrm{i}\mathrm{f}{y}_i\in {\omega }_1\\ -y_i,& \mathrm{i}\mathrm{f}{y}_i\in {\omega }_2\end{array}$$

解区：解向量集合 $\left\{a|a^{\top }{y}_i^{\prime }>0,\forall i\right\}$

解区限制：$a^{\top }{y}_i⩾b>0,\forall i$

感知准则函数：

$$\min J_p\left(a\right)=\sum _{y\in Y^k}\left(-a^{\top }y\right)$$

最小化错分样本 $y\in Y^k$ 到分界面距离之和，梯度为

$$\nabla J_p\left(a\right)=\sum _{y\in Y^k}\left(-y\right)$$

迭代公式为

$$a\left(k+1\right)=a\left(k\right)+{\rho }_k\sum _{y\in Y^k}y$$

直到 $a$ 不变

单样本感知器算法：循环处理每个样本，若 $a^{\top }{y}^k⩽\gamma$，其中 $\gamma ⩾0$，则

$$a\left(k+1\right)=a\left(k\right)+y^k$$

直到所有样本满足条件

多类问题：

1. $c-1$ 个非己：${\omega }_1$ 与非 ${\omega }_1$，${\omega }_2$ 与非 ${\omega }_2$，双非为 ${\omega }_3$
2. $c\left(c-1\right)/2$ 个两类：${\omega }_1-{\omega }_2$, ${\omega }_1-{\omega }_3$, ${\omega }_2-{\omega }_3$ 三条线
3. 直接设计判别函数：
   R i = { x ∣ g i ( x ) > g j ( x ) ,   ∀   j ≠ i } \mathcal{R}_i=\left\{ x|g_i(x)>g_j(x),~\forall~j\ne i \right\} Ri​={x∣gi​(x)>gj​(x), ∀ j​=i}

5 支持向量机SVM

判别式模型：直接利用样本计算判别函数

5.1 线性可分情形

样本集合：

T = { ( x i , y i ) } i = 1 N T=\left\{ \left(x_i,y_i \right)\right\}_{i=1}^{N} T={(xi​,yi​)}i=1N​

其中

$$y_i=\{\begin{array}{ll}1,& \mathrm{i}\mathrm{f}{x}_i\in {\omega }_1\\ -1,& \mathrm{i}\mathrm{f}{x}_i\in {\omega }_2\end{array}$$

线性判别函数：

$$y_i\left(w^{\top }{x}_i+b\right)⩾1,\forall i$$

margin

$$\rho =\frac{2}{\Vert w\Vert }$$

优化问题：

$$\min \left\{\frac{1}{2}{w}^{\top }w|y_i\left(w^{\top }{x}_i+b\right)⩾1,i=1,\dots ,N\right\}$$

Lagrange 函数为

$$L\left(w,b,\alpha \right)=\frac{1}{2}{w}^{\top }w-\sum _{i=1}^N{\alpha }_i\left[y_i\left(w^{\top }{x}_i+b\right)-1\right]$$

梯度条件：

$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i,\sum _{i=1}^N{\alpha }_i{y}_i=0$$

对偶函数：

$$Q\left(\alpha \right)=\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^{\top }{x}_j$$

对偶问题：

$$\max \left\{Q\left(\alpha \right)|\sum _{i=1}^N{\alpha }_i{y}_i=0,\alpha ⩾0\right\}$$

支持向量：互补松弛

$${\alpha }_i^{\ast }\left[y_i\left(⟨w^{\ast },x_i⟩+b\right)-1\right]=0,{\alpha }_i^{\ast }\ne 0$$

支持向量机：

f ( x ) = s g n ( ∑ i α i ∗ y i x i ⊤ x + b ∗ ) ∈ { − 1 , + 1 } f(x)=\mathrm{sgn} \left(\sum_i\alpha_{i}^{*}y_ix_{i}^{\top}x+b^* \right)\in \left\{ -1,+1 \right\} f(x)=sgn(i∑​αi∗​yi​xi⊤​x+b∗)∈{−1,+1}

5.2 线性不可分情形

Soft margin：$y_i\left(w^{\top }{x}_i+b\right)⩾1-{\xi }_i,\forall i$

松弛变量：

$$\{\begin{array}{ll}0⩽{\xi }_i⩽1,& \mathrm{i}\mathrm{f}\mathrm{v}\mathrm{i}\mathrm{o}\mathrm{l}\mathrm{a}\mathrm{t}\mathrm{e}\mathrm{d}\\ {\xi }_i>1,& \mathrm{i}\mathrm{f}\mathrm{m}\mathrm{i}\mathrm{s}\mathrm{c}\mathrm{l}\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{i}\mathrm{f}\mathrm{i}\mathrm{e}\mathrm{d}\end{array}$$

优化问题：错分率上界 ${\sum }_i{\xi }_i$，tradeoff $C$

$$\begin{array}{rl}\min & \frac{1}{2}{w}^{\top }w+C\sum _i{\xi }_i\\ \mathrm{s}.\mathrm{t}.& y_i\left(w^{\top }{x}_i+b\right)⩾1-{\xi }_i,\forall i\\ & {\xi }_i⩾0,\forall i\end{array}$$

无约束形式：

$$\min \frac{1}{2}{w}^{\top }w+C\sum _{i}L\left(w,b;x_i,y_i\right)$$

其中 Hinge 损失函数为

$$L\left(w,b;x_i,y_i\right)=\max \left\{1-y_i\left(w^{\top }{x}_i+b\right),0\right\}$$

对偶问题：

$$\max \left\{Q\left(\alpha \right)|\sum _{i=1}^N{\alpha }_i{y}_i=0,0⩽\alpha ⩽C\right\}$$

5.3 非线性情形 Kernel SVM

广义线性可分：低维空间 $L$ 升到高维空间 $H$ 使样本线性可分

升维原因：输入空间 $L$ 一般不是正常的特征空间

核函数：

$$K\left(x_i,x_j\right)=⟨\Phi \left(x_i\right),\Phi \left(x_j\right)⟩$$

其中 $\Phi :L\to H$

多项式核函数：

$$K\left(x,y\right)={\left(\gamma ⟨x,y⟩+r\right)}^p,\gamma >0$$

径向基 RBF 核函数：

$$K\left(x,y\right)=\exp \left(-\frac{{\Vert x-y\Vert }^2}{2{\sigma }^2}\right)$$

Sigmiod 核函数：

$$K\left(x,y\right)=\tanh \left(\kappa ⟨x,y⟩-\delta \right)$$

对偶函数：

$$Q\left(\alpha \right)=\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K\left(x_i,x_j\right)$$

对偶问题：

$$\max \left\{Q\left(\alpha \right)|\sum _{i=1}^N{\alpha }_i{y}_i=0,0⩽\alpha ⩽C\right\}$$

非线性支持向量机：

$$f(x)=\mathrm{s}\mathrm{g}\mathrm{n}\left(\sum _i{\alpha }_i^{\ast }{y}_{i}K\left(x_i,x\right)+b^{\ast }\right)$$

5.4 SVM 几点改进

可微损失函数：

$$L\left(w,b;x_i,y_i\right)={\left(\max \left\{1-y_i\left(w^{\top }{x}_i+b\right),0\right\}\right)}^2$$

L1 正则化：稀疏性

$$\min {\Vert w\Vert }_1+C\sum _{i}L\left(w,b;x_i,y_i\right)$$

多核学习：

$$K\left(x,y\right)=\sum _{i=1}^m{\beta }_i{K}_i\left(x,y\right)$$

其中

$${\beta }_i⩾0,\sum _i{\beta }_i=1$$

6 近邻法与距离度量

6.1 最近邻法 (Nearest Neighbor)

思想：测试样本与距离它最近的样本属于同类

数据：$c$ 类 { ω 1 , … , ω c } \left\{ \omega_1,\dots ,\omega_c \right\} {ω1​,…,ωc​}，每类 $N_i$ 个样本

$$\left\{x_i^{\left(1\right)},x_i^{\left(2\right)},\dots ,x_i^{\left(N_i\right)}\right\}$$

判别函数：

$$g_i(x)=\underset{k}{\min }\Vert x-x_i^{\left(k\right)}\Vert ,k=1,2,\dots ,N_i$$

决策规则：

$$g_j(x)=\underset{i}{\min }{g}_i(x)\Rightarrow x\in {\omega }_j$$

Voronoi 区域：L2 范数为凸，L1 范数非凸

证明：由余弦定理

$$a^{\top }b=\frac{{\Vert a\Vert }^2+{\Vert b\Vert }^2-{\Vert a-b\Vert }^2}{2}$$

可知对 ${\xi }_1,{\xi }_2\in V_i$，

$$\xi =\lambda {\xi }_1+\left(1-\lambda \right){\xi }_2,\lambda \in \left[0,1\right]$$

有

$$\begin{array}{rl}{\Vert \xi -x_i\Vert }^2& =\lambda {\Vert {\xi }_1-x_i\Vert }^2-\lambda \left(1-\lambda \right){\Vert {\xi }_1-{\xi }_2\Vert }^2+\left(1-\lambda \right){\Vert {\xi }_2-x_i\Vert }^2\\ & ⩽{\Vert \xi -x_j\Vert }^2,\forall j\ne i\end{array}$$

平均错误率：

$$P_N\left(e\right)=\iint P_N\left(e|x,x^{\prime }\right)p\left(x^{\prime }|x\right)\mathrm{d}{x}^{\prime }p(x)\mathrm{d}x$$

渐进平均错误率：

$$P=\underset{N\to \infty }{\lim }{P}_N\left(e\right)$$

记 Bayes 错误率为 $P^{\ast }$, 则渐进平均错误率的范围

$$P^{\ast }⩽P⩽P^{\ast }\left(2-\frac{c}{c-1}{P}^{\ast }\right)$$

6.2 $k$-近邻法 ($k$ Nearest Neighbors)

思想：测试样本与距离它最近的 $k$ 个样本中占优的类同类

算法：最近邻法寻找 $k$ 个近邻，$k_i$ 表示属于 ${\omega }_i$ 的样本数，判别函数 $g_i(x)=k_i$，决策规则

$$g_j(x)=\underset{i}{\max }{k}_i\Rightarrow x\in {\omega }_j$$

6.3 近邻法快速算法

思想：样本集分级分解成多个子集 (树状结构) ，每个子集 (结点) 可用较少几个量代表，通过将新样本与各结点比较排除大量候选样本，只与最终结点 (子集) 中逐个样本比较

6.4 压缩近邻法 (Condensing)

算法：关注两类边界附近的样本，初始 Grabbag 为全部样本

1. 从 Grabbag 中选择一个样本放入 Store 中
2. 用 Store 中样本以近邻法测试 Grabbag 中样本，若分错则将该样本放入 Store
3. 重复 2) 直到 Grabbag 中没有样本再转到 Store 中，或 Grabbag 为空则停止
4. 用 Store 中样本作为近邻法设计集

6.5 距离度量

距离定义：二元函数 $D\left(\cdot ,\cdot \right)$

1. 自反性：$D\left(x,y\right)=0\iff x=y$
2. 对称性：$D\left(x,y\right)=D\left(y,x\right)$
3. 三角不等式：$D\left(x,y\right)+D\left(y,z\right)⩾D\left(x,z\right)$

注释：非负性 $D\left(x,y\right)⩾0$ 可由定义三条性质导出

Minkowski 距离度量：

$$D\left(x,y\right)={\left(\sum _{j=1}^d|x_j-y_j{|}^s\right)}^{1/s},s⩾1$$

欧氏距离：

$$D\left(x,y\right)={\Vert x-y\Vert }_2=\sqrt{{\left(x-y\right)}^{\top }\left(x-y\right)}$$

Chebychev 距离：

$$D\left(x,y\right)={\Vert x-y\Vert }_{\infty }=\underset{j}{\max }|x_j-y_j|$$

马氏距离：可以表示样本距离对样本分布 (主要是方差) 的依赖性

$$D\left(x,y\right)={\left(x-y\right)}^{\top }{\Sigma }^{-1}\left(x-y\right),\Sigma =A{A}^{\top }$$

且变换后等价于欧氏距离平方：

$$A^{-1}:x\mapsto x^{\prime }\Rightarrow D\left(x,y\right)={\Vert x^{\prime }-y^{\prime }\Vert }_2^2$$

概率分布相似性判据：基于类条件概率密度函数

1. Bhattacharyya 距离：
   $$J_B=-\ln \int {\left[p\left(x|{\omega }_1\right)p\left(x|{\omega }_2\right)\right]}^{1/2}\mathrm{d}x$$
2. Chernoff 界限：
   $$J_C=-\ln \int p^s\left(x|{\omega }_1\right)p^{1-s}\left(x|{\omega }_2\right)\mathrm{d}x$$
3. 散度：
   $$J_D=\int \left[p\left(x|{\omega }_1\right)-p\left(x|{\omega }_2\right)\right]\ln \frac{p\left(x|{\omega }_1\right)}{p\left(x|{\omega }_2\right)}\mathrm{d}x$$

散度定义来源：

$$D\left(f_1,f_2\right)=\int f_1(x)\ln \frac{f_1(x)}{f_2(x)}\mathrm{d}x$$

$$J_D=D\left(f_1,f_2\right)+D\left(f_2,f_1\right)$$

切距离：记 $y$ 所处流形的切空间基矩阵为 $T$, 则切距离为

$$D\left(x,y\right)=\underset{a}{\min }\Vert \left(y+aT\right)-x\Vert$$

Holder 不等式：

$$\sum _{k=1}^n{a}_k{b}_k⩽{\Vert a\Vert }_p{\Vert b\Vert }_q,\frac{1}{p}+\frac{1}{q}=1$$

Minkowski 不等式：

$${\Vert a+b\Vert }_p⩽{\Vert a\Vert }_p+{\Vert b\Vert }_p,p⩾1$$

7 特征提取与选择

模式识别系统构成：

1. 数据获取→特征提取与选择→分类器设计
2. 数据获取→特征提取与选择→测试

7.1 Fisher 线性判别

思想：把 $d$ 维空间的样本投影到分开得最好的一条直线上

样本：

X = { x 1 , … , x N } = X 1 + X 2 X=\left\{ x_1,\dots ,x_N \right\} =X_1+X_2 X={x1​,…,xN​}=X1​+X2​

其中

$$|X_1|=N_1,|X_2|=N_2$$

降维：$y_n=w^{\top }{x}_n$，寻找最好的投影方向即寻找 $w$

样本均值：

$$m_i=\frac{1}{N_i}\sum _{x\in X_i}x$$

类内离散度矩阵：

$$S_i=\sum _{x\in X_i}\left(x-m_i\right){\left(x-m_i\right)}^{\top }$$

总类内 (within-class) 离散度：$S_w={\sum }_i{S}_i$，一般可逆

类间 (between-class) 离散度：

$$S_b=\left(m_1-m_2\right){\left(m_1-m_2\right)}^{\top }$$

一维投影空间：样本均值

$${\tilde{m}}_i=\frac{1}{N_i}\sum _{y\in Y_i}y$$

类内离散度

$${\tilde{S}}_i^2=\sum _{y\in Y_i}{\left(y-{\tilde{m}}_i\right)}^2$$

总类内离散度

$${\tilde{S}}_w={\tilde{S}}_1^2+{\tilde{S}}_2^2$$

Fisher 准则函数：

$$J_F\left(w\right)=\frac{{\left({\tilde{m}}_1-{\tilde{m}}_2\right)}^2}{{\tilde{S}}_1^2+{\tilde{S}}_2^2}$$

优化问题：广义 Rayleigh 商

$$\max J_F\left(w\right)=\frac{w^{\top }{S}_{b}w}{w^{\top }{S}_{w}w}$$

令分母为非零常数 $w^{\top }{S}_{w}w=c\ne 0$，可定义 Lagrange 函数

$$L\left(w,\lambda \right)=w^{\top }{S}_{b}w-\lambda \left(w^{\top }{S}_{w}w-c\right)$$

由梯度条件可得

$$S_b{w}^{\ast }=\lambda S_w{w}^{\ast }$$

即

$$\begin{array}{rl}\lambda w^{\ast }& =S_w^{-1}{S}_b{w}^{\ast }\\ & =S_w^{-1}\left(m_1-m_2\right)R\end{array}$$

其中

$$R={\left(m_1-m_2\right)}^{\top }w$$

忽略比例因子 $R/\lambda$ 有

$$w^{\ast }=S_w^{-1}\left(m_1-m_2\right)$$

一维分类：估计类条件概率密度函数，采用 Bayes 决策，或取决策边界

$$\begin{array}{rl}{y}_0^{\left(1\right)}& =\frac{{\tilde{m}}_1+{\tilde{m}}_2}{2}\\ y_0^{\left(2\right)}& =\frac{N_2{\tilde{m}}_1+N_1{\tilde{m}}_2}{N}\end{array}$$

注释：Fisher 适合正态分布数据，若投影到平面则可把两类切割开组成多类，$S_w$ 不可逆则数据有冗余，降维到可逆

多类 Fisher 线性判别：$K$ 类则最多可选取 $K-1$ 个特征

7.2 类别可分性判据

基于类内类间距离：

$$\begin{array}{rl}{J}_2& =\mathrm{T}\mathrm{r}\left(S_w^{-1}{S}_b\right)\\ J_3& =\ln \frac{|S_b|}{|S_w|}\\ J_4& =\frac{\mathrm{T}\mathrm{r}\left(S_b\right)}{\mathrm{T}\mathrm{r}\left(S_w\right)}\\ J_5& =\frac{|S_w+S_b|}{|S_w|}\end{array}$$

基于概率分布：$J_B,J_C,J_D$

基于熵函数：

$$J_c^{\alpha }={\left(2^{1-\alpha }-1\right)}^{-1}\left[\sum _{i=1}^c{P}^{\alpha }\left({\omega }_i|x\right)-1\right]$$

其中参数 $\alpha \to 1$：Shannon 熵，$\alpha =2$：平方熵

7.3 特征提取

降维：$x\in {\mathbb{R}}^D\mapsto y\in {\mathbb{R}}^d$，

$$y=W^{\top }x,W\in {\mathbb{R}}^{D\times d}$$

优化问题：$S_w^{-1}{S}_b$ 前 $d$ 个特征值对应的特征向量组成 $W$

7.4 特征选择

问题：单独最好的 $d$ 个特征组合起来不一定是最好的

最优搜索算法：穷举法，分枝定界法

次优搜索算法：单独最优特征组合

1. 单独最优特征组合：
   $$J(x)=\sum _{i}J\left(x_i\right)\mathrm{o}\mathrm{r}\prod _{i}J\left(x_i\right)$$
2. 顺序前进法：单独最好+合作最好+合作最好
3. 顺序后退法：全部-合作最不好-合作次不好
4. 增 $l$ 减 $r$ 法：增加合作最好的，删除合作最不好的
5. 智能算法：模拟退火，遗传算法，Tabu 搜索

Relief 算法：

输入：训练集 $X={\left\{x_i\in {\mathbb{R}}^d\right\}}_{i=1}^N$

随机选择样本数 $n$

设定 $d$ 维权重向量

$$w=[w_1,w_2,\dots ,w_D{]}^{\top }=0$$

for $i=1$ to $n$：

从 $X$ 中随机选择一个样本 $x$

计算 $X$ 中离 $x$ 最近的同类样本 $h$，不同类的样本 $m$

for $j=1$ to $d$：

$$w_j=w_j-\frac{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}(j,x,h)}{n}+\frac{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}(j,x,m)}{n}$$

return $w$

输出：权重 $w$ 最大的前 $k$ 个特征

差异计算：$\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}(j,x,h)$ 表示 $x$ 与 $h$ 在第 $j$ 维上绝对值的差异

1. 离散变量：
   $$\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}(j,x,h)=1-\left[x_j=h_j\right]$$
2. 连续变量：
   $$\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}(j,x,h)=\frac{|x_j-h_j|}{x_{j\max }-x_{j\min }}$$

8 深度学习

8.1 Multi-Layer Perception, MLP

Perceptron：单个神经元→感知器

$x={\left[x_1,\dots ,x_p\right]}^{\top },w={\left[w_1,\dots ,w_p\right]}^{\top }$

神经元输入 $v=w^{\top }x-\theta$

$$y=\mathrm{s}\mathrm{g}\mathrm{n}(v)=\{\begin{array}{ll}+1,& \mathrm{i}\mathrm{f}v⩾0\\ -1,& \mathrm{i}\mathrm{f}v<0\end{array}$$

激活函数：

1. 符号函数：
   $$\varphi (x)=\mathrm{s}\mathrm{g}\mathrm{n}(x)$$
2. Sigmoid：
   $$\varphi (x)=\frac{1}{1+\exp (-x)}$$
3. 分段线性函数
4. ReLU：
   $$\varphi (x)=\{\begin{array}{ll}x,& \mathrm{i}\mathrm{f}x⩾0\\ 0,& \mathrm{i}\mathrm{f}x<0\end{array}$$
5. Leaky ReLU：
   $$\varphi (x)=\{\begin{array}{ll}x,& \mathrm{i}\mathrm{f}x⩾0\\ ax,& \mathrm{i}\mathrm{f}x<0\end{array}$$
6. Softmax：
   $$\varphi (x)=\frac{\exp (x)}{1^{\top }\exp (x)}$$
7. 双曲正切：
   $$\varphi (x)=\tanh (x)=\frac{{\mathrm{e}}^x-{\mathrm{e}}^{-x}}{{\mathrm{e}}^x+{\mathrm{e}}^{-x}}$$

Multi-Layer Perceptron：多层感知机网络

逼近能力：$\forall f\in C^{{\left[0,1\right]}^p},ϵ>0,\exists M,\alpha ,\theta ,w$

$$F(x)=\sum _{i=1}^M{\alpha }_i\varphi \left(\sum _{j=1}^p{w}_{ij}{x}_j-{\theta }_i\right)$$

使得

$$|F(x)-f(x)|<ϵ$$

标签：one-hot vector

$$y=\left[0,\dots ,0,1,0,\dots ,0\right]$$

交叉熵损失：$L=-y^{\top }\ln \hat{y}$，$\hat{y}$ 为网络输出判别结果

均方误差损失：样本集 X = { x n } n = 1 N X=\left\{ x_n \right\}_{n=1}^{N} X={xn​}n=1N​，标签为 { d ( n ) } \left\{ d\left(n \right)\right\} {d(n)}

输出端第 $j$ 个单元对第 $n$ 个样本的输出：$y_j\left(n\right)$

第 $j$ 个单元的误差信号：

$$e_j\left(n\right)=d_j\left(n\right)-y_j\left(n\right)$$

输出端对第 $n$ 个样本的平方误差：

$$E\left(n\right)=\frac{1}{2}\sum _{j=1}^c{e}_j^2\left(n\right)$$

全部 $N$ 个样本的平方误差均值：

$$E_{\mathrm{a}\mathrm{v}}=\frac{1}{N}\sum _{n=1}^{N}E\left(n\right)$$

逐个样本学习的 BP 算法：

1. 误差对输出单元 $j$ 的权重 { w j i ,   ∀   i } \left\{ w_{ji},~\forall~i \right\} {wji​, ∀ i} 求梯度

由

$$v_j\left(n\right)=\sum _{i=0}^p{w}_{ji}\left(n\right)y_i\left(n\right)$$

$$y_j\left(n\right)={\varphi }_j\left(v_j\left(n\right)\right)$$

可得

$$\begin{array}{rl}\frac{\partial E\left(n\right)}{\partial w_{ji}\left(n\right)}& =\frac{\partial E\left(n\right)}{\partial e_j\left(n\right)}\frac{\partial e_j\left(n\right)}{\partial y_j\left(n\right)}\frac{\partial y_j\left(n\right)}{\partial v_j\left(n\right)}\frac{\partial v_j\left(n\right)}{\partial w_{ji}\left(n\right)}\\ & =-e_j\left(n\right){\varphi }_j^{{}^{\prime }}\left(v_j\left(n\right)\right)y_i\left(n\right)\\ & \triangleq {\delta }_j\left(n\right)y_i\left(n\right)\end{array}$$

权重修正：

$$w_{ji}=w_{ji}+\eta {\delta }_j\left(n\right)y_i\left(n\right)$$

其中 ${\delta }_j\left(n\right)$ 称为局部梯度

2. 误差对内部隐单元 $j$ 的权重 { w j i ,   ∀   i } \left\{ w_{ji},~\forall~i \right\} {wji​, ∀ i} 求梯度

局部梯度为

$$\begin{array}{rl}{\delta }_j\left(n\right)& =-\frac{\partial E\left(n\right)}{\partial y_j\left(n\right)}\frac{\partial y_j\left(n\right)}{\partial v_j\left(n\right)}\\ & =-\frac{\partial E\left(n\right)}{\partial y_j\left(n\right)}{\varphi }_j^{{}^{\prime }}\left(v_j\left(n\right)\right)\end{array}$$

其中

$$\begin{array}{rl}\frac{\partial E\left(n\right)}{\partial y_j\left(n\right)}& =\sum _k\frac{\partial E\left(n\right)}{\partial e_k\left(n\right)}\frac{\partial e_k\left(n\right)}{\partial y_k\left(n\right)}\frac{\partial y_k\left(n\right)}{\partial v_k\left(n\right)}\frac{\partial v_k\left(n\right)}{\partial y_j\left(n\right)}\\ & =-\sum _k{e}_k{\varphi }^{\prime }\left(v_k\left(n\right)\right)w_{kj}\left(n\right)\\ & =-\sum _k{\delta }_k\left(n\right)w_{kj}\left(n\right)\end{array}$$

因此

$${\delta }_j\left(n\right)={\varphi }_j^{{}^{\prime }}\left(v_j\left(n\right)\right)\sum _k{\delta }_k\left(n\right)w_{kj}\left(n\right)$$

权重修正：

$$w_{ji}=w_{ji}+\eta {\delta }_j\left(n\right)y_i\left(n\right)$$

BP 问题：局部极值且收敛缓慢，需大量数据已知网络结构

深度问题：更深的深度可以具有更好的表示性但优化更困难

例题：$k$ 类，输入 $x\in {\mathbb{R}}^d$，one-hot 标签 $y\in {\mathbb{R}}^k$，交叉熵损失网络为

$$\begin{array}{rl}\hat{y}& =f\left(x;W_1,b_1,W_2,b_2\right)\\ h_1& =W_1^{\top }x+b_1\\ a_1& =\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}\left(h_1\right)\\ h_2& =\left[\begin{array}{c}{a}_1\\ x\end{array}\right]\\ a_2& =h_2\odot m\\ h_3& =W_2^{\top }{a}_2+b_2\\ \hat{y}& =\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(h_3\right)\end{array}$$

则损失函数对各个变量的梯度为

$$\begin{array}{rl}\bar{\hat{y}}& =-y\hat{y}\\ {\bar{h}}_3& =\hat{y}-y\\ {\bar{W}}_2& =a_2{\bar{h}}_3^{\top }\\ {\bar{b}}_2& ={\bar{h}}_3\\ {\bar{a}}_2& =W_2{\bar{h}}_3\\ {\bar{h}}_2& =m\odot {\bar{a}}_2\\ {\bar{a}}_1& =\left[I0\right]{\bar{h}}_2\\ {\bar{h}}_1& =\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left[\frac{1+\mathrm{s}\mathrm{g}\mathrm{n}\left(h_1\right)}{2}\right]{\bar{a}}_1\\ {\bar{W}}_1& =x{\bar{h}}_1^{\top }\\ {\bar{b}}_1& ={\bar{h}}_1\\ \bar{x}& =W_1{\bar{h}}_1+\left[0I\right]{\bar{h}}_2\end{array}$$

8.2 Convolutional Neural Networks (CNN)

Dropout：随机删除某个节点的连接，以重点关注其余节点

例题：输入 $x\in {\mathbb{R}}^{C_{\mathrm{i}\mathrm{n}}\times H\times W}$,

$$\begin{array}{rl}{u}_1& =\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}2\mathrm{d}\left(C_{\mathrm{i}\mathrm{n}},C_{\mathrm{o}\mathrm{u}\mathrm{t}},k\right)(x)\\ h_1& =\mathrm{M}\mathrm{a}\mathrm{x}\mathrm{P}\mathrm{o}\mathrm{i}\mathrm{l}2\mathrm{d}\left(N\right)\left(u_1\right)\\ a_1& =\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}\left(h_1\right)\\ u_2& =\mathrm{F}\mathrm{l}\mathrm{a}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\left(a_1\right)\\ h_2& =W_2^{\top }{u}_2+b_2\\ \hat{y}& =\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(h_2\right)\end{array}$$

则损失函数对各个变量的梯度为

$$\begin{array}{rl}{\bar{h}}_2& =\hat{y}-y\\ {\bar{W}}_2& =a_2{\bar{h}}_2^{\top }\\ {\bar{b}}_2& ={\bar{h}}_2\\ {\bar{u}}_2& =W_2{\bar{h}}_2\\ {\bar{a}}_1^{\left(i,j,k\right)}& =W_2^{\left(n\left(i,j,k\right),:\right)}{\bar{h}}_2\end{array}$$

其中

$$n\left(i,j,k\right)=\left(i-1\right)H_{\mathrm{m}\mathrm{p}}{W}_{\mathrm{m}\mathrm{p}}+\left(j-1\right)W_{\mathrm{m}\mathrm{p}}+k$$

$${\bar{h}}_1^{(r,s,t)}=\frac{1+\mathrm{s}\mathrm{g}\mathrm{n}\left(h_1^{(r,s,t)}\right)}{2}{\bar{a}}_1^{(r,s,t)}$$

卷积：

$$u_1^{\left(j,:,:\right)}=b_1^{\left(j,:,:\right)}+\sum _{k=1}^{C_{\mathrm{i}\mathrm{n}}}{W}_1^{\left(j,k,:,:\right)}\star x^{\left(k,:,:\right)}$$

其中 $\star$ 符号表示二维互相关

例题：

$$a_i=\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\left(W_i^{\top }{a}_{i-1}+b_i\right),i=1,\dots ,l$$

且

$$a_0=x,a_l=\hat{y}$$

令

$$\sigma \left(z\right)\triangleq \mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\left(z\right)$$

则

$${\sigma }^{\prime }\left(z\right)=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left(\sigma \left(z\right)\odot \left[1-\sigma \left(z\right)\right]\right)$$

因此

$${\bar{W}}_1=x{\left[\left(\prod _{i=2}^l{W}_i\right)\left(\prod _{j=1}^l{\sigma }^{\prime }\left(a_j\right)\right)\bar{\hat{y}}\right]}^{\top }$$

其中

$${\sigma }^{\prime }\left(a_j\right)⩽\frac{1}{4}$$

则会出现梯度消失的问题

ReLU：

$${\bar{W}}_1=x{\left[\left(\prod _{i=2}^l{W}_i\right)\left(\prod _{j=1}^l\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left[\frac{1+\mathrm{s}\mathrm{g}\mathrm{n}\left(a_j\right)}{2}\right]\right)\bar{\hat{y}}\right]}^{\top }$$

若行列式 $\mathrm{d}\mathrm{e}\mathrm{t}(W_i)$ 过小，则其连乘部分会消失，整体的梯度仍然会消失

ResNet：

$$a_i=\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\left(W_i^{\top }{a}_{i-1}+b_i\right)+a_{i-1},i=1,\dots ,l$$

则梯度为

$${\bar{W}}_1=x{\left[{\sigma }^{\prime }\left(a_1\right)\left(\prod _{i=2}^l\left[W_i{\sigma }^{\prime }\left(a_i\right)+I\right]\right)\bar{\hat{y}}\right]}^{\top }$$

连乘的每一项都包含单位矩阵 $I$，有效缓解了梯度消失的问题

8.3 Recurrent Neural Networks (RNN)

目的：处理序列数据，如语言，轨迹，金融数据等

网络结构及展开：

更新方程：

$$\begin{array}{rl}{h}^{\left(t\right)}& =\varphi \left(W{h}^{\left(t-1\right)}+U{x}^{\left(t\right)}+b\right)\\ {\hat{y}}^{\left(t\right)}& =\sigma \left(V{h}^{\left(t\right)}+c\right)\end{array}$$

BP 算法：换个符号，并考虑 $E_t=d_t-y_t$

$y_t=\varphi \left(v_t\right),v_t=\sigma \left(w_v{y}_{t-1}+w_x{x}_t\right)$，这里 $\sigma (x)\triangleq x$

$$\begin{array}{rl}\frac{\partial E}{\partial w_v}& =\sum _{t=1}^s\frac{\partial E_t}{\partial w_v}\\ \frac{\partial E_t}{\partial w_v}& =\sum _{k=1}^t\frac{\partial E_t}{\partial y_t}\frac{\partial y_t}{\partial v_t}\frac{\partial v_t}{\partial v_k}\frac{\partial v_k}{\partial w_v}\\ \frac{\partial E_t}{\partial y_t}& =\frac{\partial \left(d_t-y_t\right)}{\partial y_t}=-1\\ \frac{\partial y_t}{\partial v_t}& ={\varphi }^{\prime }\left(v_t\right)\\ \frac{\partial v_t}{\partial v_k}& =\prod _{i=k+1}^t\frac{\partial v_i}{\partial v_{i-1}}\\ & =\prod _{i=k+1}^t\frac{\partial v_i}{\partial y_{i-1}}\frac{\partial y_{i-1}}{\partial v_{i-1}}\\ & =\prod _{i=k+1}^t{w}_v{\varphi }^{\prime }\left(v_{i-1}\right)\\ \frac{\partial v_k}{\partial w_v}& =y_{k-1}\end{array}$$

8.4 Long Short Term Memory (LSTM)

网络结构：对 RNN 的输入输出和展开过程均加入门控

更新过程：$\sigma \left(\cdot \right)\triangleq \mathrm{s}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\left(\cdot \right)$

Input gate：$i_t=\sigma \left(w_{xi}{x}_t+w_{hi}{h}_{t-1}+b_i\right)$

Forget gate：$f_t=\sigma \left(w_{xf}{x}_t+w_{hf}{h}_{t-1}+b_f\right)$

Output gate：$o_t=\sigma \left(w_{xo}{x}_t+w_{ho}{h}_{t-1}+b_o\right)$

External input gate：

$$g_t=\tanh \left(w_{xg}{x}_t+w_{hg}{h}_{t-1}+b_g\right)$$

输出：

$$\begin{array}{rl}{c}_t& =f_t\odot c_{t-1}+i_t\odot g_t\\ h_t& =o_t\odot \tanh \left(c_t\right)\end{array}$$

梯度：

$$\begin{array}{rl}{\bar{c}}_t& ={\bar{h}}_t{o}_t\left[1-{\tanh }^2\left(c_t\right)\right]\\ {\bar{w}}_{ix}& =\sum _t{\bar{i}}_t{i}_t\left(1-i_t\right)x_t\end{array}$$

8.5 Attention

注意力机制：加权平均，权重表示不同的重视程度

网络参数：键值对 { k i , v i } \left\{ k_i,v_i \right\} {ki​,vi​}，查询向量 $q$

注意力：

c ( { k i , v i } , q ) = ∑ i s i m i l a r i t y ( q , k i ) ⋅ v i = ∑ i α i v i \begin{aligned} c\left(\left\{ k_i,v_i \right\} ,q \right)&=\sum_i\mathrm{similarity}\left(q,k_i \right)\cdot v_i\\ &=\sum_i\alpha_iv_i \end{aligned} c({ki​,vi​},q)​=i∑​similarity(q,ki​)⋅vi​=i∑​αi​vi​​

相似性度量：${\alpha }_i$ 的计算可使用内积，余弦相似度，MLP，softmax：

$${\alpha }_i=\frac{\exp \left(k_i^{\top }q\right)}{{\sum }_i\exp \left(k_i^{\top }q\right)}$$

8.6 Graph Convolutional Neural Networks (GNN)

邻接矩阵：$A=\left[a_{ij}\right],a_{ij}=\left[i\to j\right]$

度矩阵：$D=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left(d_i\right)$，出度 $d_i={\sum }_j{a}_{ij}$，入度 $d_j={\sum }_i{a}_{ij}$

简单 Propagation：

$$H^{i+1}=\sigma \left(D^{-1}A{H}^i{W}^i\right)$$

9 非监督学习：降维

降维：给定一组高维样本，寻找一个低维空间表示这些样本

9.1 主成分分析 (PCA, Principal Component Analysis)

理论推导：最小均方误差的角度

向量 $x\in {\mathbb{R}}^n$ 视为随机变量，完备正交归一向量基： { u i } i = 1 ∞ \left\{ u_i \right\}_{i=1}^{\infty} {ui​}i=1∞​，则

$$x=\sum _{i=1}^{\infty }{c}_i{u}_i$$

若用 $d\ll n$ 维来表示有

$$\hat{x}=\sum _{i=1}^d{c}_i{u}_i$$

误差为

$$ϵ=\mathbb{E}\left[{\left(x-\hat{x}\right)}^{\top }\left(x-\hat{x}\right)\right]=\mathbb{E}\left[\sum _{i=d+1}^{\infty }{c}_i^2\right]$$

又 $c_i=x^{\top }{u}_i$，则

$$\begin{array}{rl}ϵ& =\mathbb{E}\left[\sum _{i=d+1}^{\infty }{u}_i^{\top }x{x}^{\top }{u}_i\right]\\ & =\sum _{i=d+1}^{\infty }{u}_i^{\top }\mathbb{E}\left[x{x}^{\top }\right]u_i\\ & =\sum _{i=d+1}^{\infty }{u}_i^{\top }\Psi u_i\end{array}$$

其中

$$\Psi \triangleq \mathbb{E}\left[x{x}^{\top }\right]$$

零均值化：须保证 $\mathbb{E}\left[x\right]=0$，则 $\Psi$ 为协方差矩阵

优化问题：$\min ϵ$，其 Lagrange 函数为

$$L=\sum _{i=d+1}^{\infty }{u}_i^{\top }\Psi u_i-\sum _{i=d+1}^{\infty }{\lambda }_i\left(u_i^{\top }{u}_i-1\right)$$

梯度条件：

$$\frac{\partial L}{\partial u_j}=2\left(\Psi u_j-{\lambda }_j{u}_j\right)=0$$

即

$$\Psi u_j={\lambda }_j{u}_j$$

K-L 变换坐标系：$\Psi$ 前 $d$ 个最大特征值对应的特征向量

K-L 变换：$x$ 在 $u_1,u_2,\dots ,u_d$ 上展开系数

$$x^{\prime }={\left[c_1,c_2,\dots ,c_d\right]}^{\top }$$

性质：视展开系数 $x^{\prime }$ 为随机向量，

$$\mathbb{E}\left[c_i{c}_j\right]={\lambda }_i{u}_i^{\top }{u}_j={\lambda }_i{\delta }_{ij}$$

$${\lambda }_i=\mathbb{E}\left[c_i^2\right]=\mathbb{E}\left[{\left(c_i-\mathbb{E}\left(c_i\right)\right)}^2\right]={\sigma }_i^2$$

即特征值 ${\lambda }_i$ 表示数据降维投影在一维特征向量 $u_i$ 方向上的方差，所以 K-L 变换就是把数据投影到 $d$ 个正交的序贯最大方差方向上去

降维维度确定：根据精度要求与计算、存储能力确定

9.2 多维尺度变换 (MDS, Multi-Dimensional Scaling)

理论推导：数据点 $x_r\in {\mathbb{R}}^p,r=1,2,\dots ,n$，假定零均值

内积 $b_{rs}=x_r^{\top }{x}_s$，$X={\left[x_1,\dots ,x_n\right]}^{\top }$，内积矩阵为 $B=X{X}^{\top }$，平方距离

$$\begin{array}{rl}{d}_{rs}^2& ={\left(x_r-x_s\right)}^{\top }\left(x_r-x_s\right)\\ & =x_r^{\top }{x}_r+x_s^{\top }{x}_s-2x_r^{\top }{x}_s\end{array}$$

平方距离矩阵

$$D=c{1}^{\top }+1c^{\top }-2B$$

其中

$$c=\left[x_1^{\top }{x}_1,\dots ,x_n^{\top }{x}_n\right]$$

中心化矩阵：

$$J=I-\frac{1}{n}11^{\top }$$

易知

$$\left(c{1}^{\top }\right)J=J\left(1c^{\top }\right)=0$$

且由 ${\sum }_r{x}_r=0$ 可得

$$JX=X-\frac{1}{n}11^{\top }X=X$$

因此

$$JBJ=JX{X}^{\top }{J}^{\top }=B$$

又

$$\begin{array}{rl}JDJ& =J\left(c{1}^{\top }\right)J+J\left(1c^{\top }\right)J-2JBJ\\ & =-2B\end{array}$$

所以

$$B=-\frac{1}{2}JDJ$$

SVD：$B=V\Lambda V^{\top }$，其中 $V=\left[v_1,\dots ,v_p\right]$，$\Lambda =\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left({\lambda }_1,\dots ,{\lambda }_p\right)$，则 $X=V{\Lambda }^{1/2}$，若降维 $k<p$ 则取前 $k$ 个特征值与特征向量

降维维度确定：

$$\begin{array}{rl}\frac{1}{2}\sum _r\sum _s{d}_{rs}^2& =n\sum _r{x}_r^{\top }{x}_r\\ & =n\mathrm{T}\mathrm{r}\left(B\right)\\ & =n\sum _r{\lambda }_r\end{array}$$

可知为保持总体距离降低较少需取较大的特征值，总体距离降低比例为

$$\rho =\frac{\sum _{i=1}^p{\lambda }_i}{\sum _{i=1}^{n-1}{\lambda }_i}$$

可通过固定比例为 $\rho =95\%$ 选取 $p$

9.3 等距特征映射 (ISOMAP, Isometric Feature Mapping)

基本思想：利用测地距离代替欧氏距离，保留样本分布信息

算法：

1. 找到 $k$ 近邻 (或欧氏距离小于 $ϵ$) 点并计算欧式距离 $d_X\left(i,j\right)$，定义图 $G$，若样本点为 $k$ 近邻则连线，连线长度为 $d_X\left(i,j\right)$
2. 计算图上任意两点间最短距离 $D_G=\left[d_G\left(i,j\right)\right]$
3. 通过 MDS 多维尺度变换降维到 $d$ 维空间

9.4 局部线性嵌入 (LLE, Locally Linear Embedding)

基本思想：高维数据集中分布在潜在的低维的平滑流形上，每个样本点及其近邻分布在流形上的一个局部线性区域

1. 寻找每个样本点的近邻

2. 解优化问题
   $$\min ϵ\left(W\right)=\sum _i{\left|x_i-\sum _j{W}_{ij}{x}_j\right|}^2$$
   求得 $W$

3. 固定 $W$，求降维向量
   $$y_i\Leftarrow \min ϵ\left(W\right)=\sum _i{\left|x_i-\sum _j{W}_{ij}{x}_j\right|}^2$$

10 非监督学习：聚类

10.1 $C$ 均值方法 (K-means)

基于样本的方法：根据样本间相似性，使准则函数 $J_e$ 取最值

思路：

1. 把样本分成一些不同的类别
2. 不断调整样本使得相似的样本聚集在一起
3. GMM 的 EM 算法取极限的特例

算法：

$$\min J_e=\sum _{i=1}^c\sum _{y\in {\Gamma }_i}{\Vert y-m_i\Vert }^2$$

1. 把样本初始划分成 $C$ 类，计算各类均值 $m_1,\dots ,m_C$ 和 $J_e$
2. 选任意一个样本 $y$，设 $y\in {\Gamma }_i$
3. 若 $N_i=1$，则该类只有1个元素则无需移出，转 2)
4. 计算当 $y$ 被调整到其它各类时 $J_e$ 的变化量：

$${\rho }_j=\{\begin{array}{ll}\frac{N_j}{N_j+1}{\Vert y-m_j\Vert }^2,& \mathrm{i}\mathrm{f}j\ne i\\ \frac{N_i}{N_i-1}{\Vert y-m_j\Vert }^2,& \mathrm{o}.\mathrm{w}.\end{array}$$

5. 如果 ${\rho }_k⩽{\rho }_j,\forall j$，则移动 $y:{\Gamma }_i\to {\Gamma }_k$
6. 更新均值 $m_i,m_k$ 和均方误差 $J_e$
7. 若连续迭代 $N$ 次不变则算法终止，否则转 2)

问题：

• $C$ 的确定：$J_e-C$ 曲线肘点
• 初始划分：先选择一些代表点作为聚类的核心，然后把其余的点按某种方法分到各类中去，初始划分不当可能会使得问题陷入局部最优解

10.2 多级聚类方法 (Hierarchical Clustering)

算法：

1. 每个样本为一类
2. 最近的两类合并，直到只剩一类

两类之间的距离度量：

• 最近距离：

  $$\Delta \left({\Gamma }_i,{\Gamma }_j\right)=\underset{y\in {\Gamma }_i,\tilde{y}\in {\Gamma }_j}{\min }\delta \left(y,\tilde{y}\right)$$

  不适合两类之间距离较近且中间有个别离群点，适合带状分布的数据

• 最远距离：

  $$\Delta \left({\Gamma }_i,{\Gamma }_j\right)=\underset{y\in {\Gamma }_i,\tilde{y}\in {\Gamma }_j}{\max }\delta \left(y,\tilde{y}\right)$$

  与最近距离效果相反

• 均值距离：

  $$\Delta \left({\Gamma }_i,{\Gamma }_j\right)=\delta \left(m_i,m_j\right)$$

  效果介于以上两者之间

分类数量：根据聚类树判断，最长或次长跳跃前的水平

10.3 谱聚类 (Spectral Clustering)

样本点集：$x_1,\dots ,x_n$

相似性度量：$s_{ij}=s\left(x_i,x_j\right)⩾0$

相似性图：加权无向图 $G=\left(V,E\right)$

加权邻接矩阵：$W=\left(w_{ij}\right)$

边权重：$w_{ij}=s_{ij}$

度矩阵：$D=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left(d_1,\dots ,d_n\right)$，其中度：

$$d_i=\sum _{j=1}^n{w}_{ij}$$

Graph Laplacian：未归一化 $L=D-W$，归一化 $L_{rw}=D^{-1}L$

性质：对称，半正定，最小特征值0，对应特征向量为1

构造相似性图：

1. $ϵ$-近邻图：任意两个距离小于 $ϵ$ 的点之间存在一条边

2. $k$-近邻图：若 $v_i$ 是 $v_j$ 的 $k$ 近邻，则存在一条边 (无向化)

3. 对称 $k$-近邻图：若两个点互为 $k$ 近邻，则存在一条边

4. 全连接图：相似性大于 0 的两个点之间存在一条边

算法：

1. 输入相似性矩阵 $S\in {\mathbb{R}}^{n\times n}$，聚类类别数 $k$
2. 构造相似性图，设加权邻接矩阵为
   $$W=[w_{ij}]=[s_{ij}]$$
3. 计算未归一化 (归一化) Graph Laplacian $L\left(L_{rw}\right)$
4. 计算 $L\left(Lu=\lambda Du\right)$ 的前 $k$ 个最小特征值对应的特征向量 $u_1,\dots ,u_k$，并记
   $$U\triangleq \left[u_1,\dots ,u_k\right]$$
5. 设 $y_i\in {\mathbb{R}}^k$ 为 $U$ 的第 $i$ 行构成的向量，称为谱嵌入向量
6. 使用 $C$ 均值聚类方法将点 { y i } \left\{ y_i \right\} {yi​} 聚为 $k$ 类
   $$C_1,\dots ,C_k$$
7. 输出最终聚类为 $A_1,\dots ,A_k$，其中
   A i = { j : y j ∈ C i } A_i=\left\{ j:y_j\in C_i \right\} Ai​={j:yj​∈Ci​}

推导：寻找图的划分，使得不同点集间边权重较小，同一点集内边权重较大，

$$\min \mathrm{c}\mathrm{u}\mathrm{t}\left(A_1,\dots ,A_k\right)=\frac{1}{2}\sum _{i=1}^{k}W\left(A_i,{\bar{A}}_i\right)$$

其中 $|A|$ 表示 $A$ 中顶点的个数，$\mathrm{v}\mathrm{o}\mathrm{l}\left(A\right)$ 表示 $A$ 中顶点度的和

$$\begin{array}{rl}\mathrm{R}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{C}\mathrm{u}\mathrm{t}\left(A_1,\dots ,A_k\right)& =\frac{1}{2}\sum _{i=1}^k\frac{W\left(A_i,{\bar{A}}_i\right)}{|A_i|}\\ & =\frac{1}{2}\sum _{i=1}^k\frac{\mathrm{c}\mathrm{u}\mathrm{t}\left(A_i,{\bar{A}}_i\right)}{|A_i|}\end{array}$$

$$\begin{array}{rl}\mathrm{N}\mathrm{C}\mathrm{u}\mathrm{t}\left(A_1,\dots ,A_k\right)& =\frac{1}{2}\sum _{i=1}^k\frac{W\left(A_i,{\bar{A}}_i\right)}{\mathrm{v}\mathrm{o}\mathrm{l}\left(A_i\right)}\\ & =\frac{1}{2}\sum _{i=1}^k\frac{\mathrm{c}\mathrm{u}\mathrm{t}\left(A_i,{\bar{A}}_i\right)}{\mathrm{v}\mathrm{o}\mathrm{l}\left(A_i\right)}\end{array}$$

松弛离散约束后，RatioCut 对应归一化 Graph Laplacian，Ncut 对应未归一化 Graph Laplacian

注记：

• 谱聚类往往对相似性图及参数选择比较敏感，且存在尺度问题，一般 $k$ 近邻图可以比较好的连接不同尺度下的数据，通常作为首选
• 参数选择应该使相似性图是连通的或连通分量数量较少
• 尽量选择归一化的 Graph Laplacian，理由：考虑聚类的原则，最小化 RatioCut 只考虑了使得不同点集间的边的权重较小，而最小化 Ncut 在某种程度上考虑了同一点集内的边权重较大

聚类方法的选择：

• 根据样本的分布特性和数量综合考虑
• 若样本点近似成球状分布或者样本数很大时，则用 K-means 算法能取得较好效果，且速度快
• 当样本数量较少时，可以选择基于最近邻图的谱聚类方法，其聚类的效果较好，而且不像分级聚类那样受距离度量选择的影响大

11 决策树

11.1 决策树概览

11.2 CART (Classification And Repression Trees)

分类和回归树算法 CART：一种通用的树生长算法

分枝数目：与属性有关，但决策树都等价于二叉树

构造决策树原则：简单性，获得的决策树简单、紧凑

节点不纯度 Impurity：$i\left(N\right)$ 表示节点 $N$ 的不纯度

• 熵不纯度：
  $$i\left(N\right)=-\sum _{j}P\left(w_j\right){\log }_{2}P\left(w_j\right)$$
  其中 $P\left(w_j\right)$ 表示节点 $N$ 处属于 $w_j$ 类样本占节点总样本数的比例
• Gini 不纯度：
  $$\begin{array}{rl}i\left(N\right)& =\sum _{i\ne j}P\left(w_i\right)P\left(w_j\right)\\ & =1-\sum _j{P}^2\left(w_j\right)\end{array}$$
• 错分不纯度：被错分的最小概率
  $$i\left(N\right)=1-\underset{j}{\max }P\left(w_j\right)$$

特征选择：选择能够使不纯度下降最多的特征做查询，不纯度下降

$$\Delta i\left(N\right)=i\left(N\right)-P_{L}i\left(N_L\right)-\left(1-P_L\right)i\left(N_R\right)$$

其中 $P_L$ 是分配到 $N_L$ 节点样本数量占 $N$ 节点样本数量比例

局部贪婪算法：只考虑了单一特征带来的不纯度下降

多重分枝：

$$\Delta i\left(N\right)=i\left(N\right)-\sum _{k=1}^B{P}_{k}i\left(N_k\right)$$

其中 $B$ 为分枝数目，$P_k$ 是节点 $N_k$ 处样本占 $N$ 处样本比例，但

$$B\uparrow \Rightarrow \Delta i\left(N\right)\uparrow$$

故调整

$$\Delta i_B\left(N\right)=\frac{\Delta i\left(N\right)}{-\sum _{k=1}^B{P}_k{\log }_2{P}_k}$$

分枝停止准则：

• 传统方法，验证或交叉验证
• 阈值方法，当所有候选分支的不纯度下降量都小于这个阈值，则停止分支

阈值方法优点：

• 全部样本都可用来训练
• 树的各个深度上都可能存在叶节点，这是一棵非平衡树

阈值方法缺点：

• 很难预先设定一个合适的阈值，因为树的分类准确性与阈值大小通常不是简单的函数关系

后剪枝：使用全部训练集数据，但计算量会增加

1. 树充分生长，直到叶节点都有最小的不纯度值
2. 对所有相邻的成对叶节点，如果消去它们能引起不纯度增长，则消去它们，并令其公共父节点成为新的叶节点

叶节点标号：用叶节点样本中大多数样本的类别来标号

不稳定性：树的生长对训练样本的微小位置变动很敏感，很大程度上是由离散性和节点选择时的贪婪性所导致的

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mBfyjNml-1627973780642)(https://gitee.com/jingxuanyang/picture/raw/master/2021-8-1/1627808769097-11.2(1)].jpg)

特征选择：选择特征使得决策面简单，可尝试线性组合

多元决策树：当实值数据样本分布复杂时，平行于特征轴分界面的效率和推广性都可能很差，可采用一般的线性分类器

属性缺失：对主分支外的属性做替代分枝并根据相似性排序

11.3 ID3 (Interactive Dichotomizer-3)

算法：实值变量按区间离散化，节点分支数等于其属性的离散取值个数，决策树生长到所有叶节点都为纯，无剪枝

11.4 C4.5

算法概述：对于实值变量的处理和 CART 相同，对名义属性采用多重分支，不纯度的计算采用 $\Delta i_B\left(N\right)$

与 CART 区别：对属性缺失数据的处理，所有 $B$ 个分支进行判别，最终分类结果是 $M$ 个叶节点加权决策的结果

基于规则的剪枝：尝试删除规则任意一个前件，取性能提高最大的子规则，重复删除直到无法修剪，按性能降序排序

优点：

• 允许在特定节点处考虑上下文信息
• 靠近根节点处的节点也可能被剪枝，根节点与叶节点等价，比叶节点合并剪枝方法更加通用
• 简化的规则可用于更好的类别表达

12 多分类器方法 (Ensemble)

12.1 Bagging (Bootstrap Aggregating)

算法：基于训练样本的分类器构造

1. 从训练集 $N$ 个样本中随机抽取 (Bootstrap) 出 $n$ 个样本
2. 用这 $n$ 个样本训练一个分类器 $h$，然后放回这些样本
3. 重复步骤 1) 与 2) $L$ 次，得到分类器
   $$h_1,h_2,\dots ,h_L$$
4. 使用 $L$ 个分类器进行判别，决策层投票得到最终结果

基分类器：选择不稳定的分类器，决策树，神经网络等

12.2 AdaBoost (Adaptive Boosting)

算法：基于训练样本的分类器构造

输入： X = { ( x 1 , y 1 ) , … , ( x N , y N ) } X=\left\{ \left(x_1,y_1 \right),\dots ,\left(x_N,y_N \right)\right\} X={(x1​,y1​),…,(xN​,yN​)}，基分类器 $C$，循环次数 $L$

初始化：样本 $x_i$ 权重

$$w_1(i)=\frac{1}{N}$$

for $l=1$ to $L$：

权重归一化

$$p_l(i)=\frac{w_l(i)}{\sum _i{w}_l(i)},\forall i=1,2,\dots ,N$$

根据 $p_l(i)$ 采样生成样本集合 $s_l$，训练分类器 $h_l$

计算 $h_l$ 分类错误率

$${ϵ}_l=\sum _i{p}_l(i){\bar{\delta }}_{iy}$$

其中

$${\bar{\delta }}_{iy}\triangleq \left[h_l\left(x_i\right)\ne y_i\right]$$

计算权重系数的参数

$$a_l=\frac{1}{2}\ln \frac{1-{ϵ}_l}{{ϵ}_l}$$

更新权重

$$w_{l+1}(i)=w_l(i){\mathrm{e}}^{-a_l}{\delta }_{iy}+w_l(i){\mathrm{e}}^{a_l}(1-{\delta }_{iy})$$

输出：加权投票

$$h(x)={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}_{y\in Y}\sum _{l=1}^L{a}_l[h_l(x)=y]$$

特性：随着算法进行，聚焦于容易分错而富含信息的样本

错误率：二分类 Y = { 1 , − 1 } Y=\left\{ 1,-1 \right\} Y={1,−1}，$T$ 轮迭代后样本概率分布为

$$\begin{array}{rl}{p}_{T+1}(i)& =p_T(i)\frac{{\mathrm{e}}^{-{\alpha }_T{y}_i{h}_T(i)}}{Z_T}\\ & =p_1(i)\frac{{\mathrm{e}}^{-y_i⟨\alpha ,h(i)⟩}}{\prod _{j=1}^T{Z}_j}\\ & =\frac{{\mathrm{e}}^{-y_i⟨\alpha ,h(i)⟩}}{N\prod _{j=1}^T{Z}_j}\end{array}$$

又

$$\sum _i{p}_{T+1}(i)=1$$

则

$$\prod _{j=1}^T{Z}_j=\frac{1}{N}\sum _{i=1}^N{\mathrm{e}}^{-y_i⟨\alpha ,h(i)⟩}$$

第 $i$ 个样本错误标志

$$\begin{array}{rl}{ϵ}_i& =1-\left[h_T\left(x_i\right)=y_i\right]\\ & ⩽{\mathrm{e}}^{-y_i⟨\alpha ,h(i)⟩}\end{array}$$

则总错误率是分类错误率的一个上界

$$\begin{array}{rl}ϵ& =\frac{1}{N}\sum _{i=1}^N{ϵ}_i\\ & ⩽\frac{1}{N}\sum _{i=1}^N{\mathrm{e}}^{-y_i⟨\alpha ,h(i)⟩}\\ & =\prod _{j=1}^T{Z}_j\end{array}$$

优化问题

$$\min \prod _{j=1}^T{Z}_j$$

可解得

$$a_l=\frac{1}{2}\ln \frac{1-{ϵ}_l}{{ϵ}_l}$$

且由

$$\begin{array}{rl}{Z}_l& =\sum _i{p}_l(i){\mathrm{e}}^{-{\alpha }_l{y}_i{h}_l(i)}\\ & =\sum _{i\in A}{p}_l(i){\mathrm{e}}^{-{\alpha }_l}+\sum _{i\in \bar{A}}{p}_l(i){\mathrm{e}}^{+{\alpha }_l}\\ & =\left(1-{ϵ}_l\right){\mathrm{e}}^{-{\alpha }_l}+{ϵ}_l{\mathrm{e}}^{{\alpha }_l}\\ & =2\sqrt{{ϵ}_l\left(1-{ϵ}_l\right)}\\ & =\sqrt{1-4{\gamma }_l^2}\end{array}$$

可得

$$\begin{array}{rl}\prod _{l=1}^T{Z}_l& =\prod _{l=1}^T\sqrt{1-4{\gamma }_l^2}\\ & ⩽\exp \left(-2\sum _{l=1}^T{\gamma }_l^2\right)\\ & ⩽{\mathrm{e}}^{-2T{\gamma }_{\min }^2}\end{array}$$

因此，错误率可以随着迭代次数的增加而指数级下降

与 Bagging 对比：基分类器以序贯方式使用加权数据集进行训练，其中每个数据点权重依赖前一个分类器的性能

12.3 基于样本特征的分类器构造

随机子空间算法：随机抽取 (也可对特征加权) 特征子集 $S_l$，利用在 $S_l$ 上的训练样本训练分类器 $h_l$，重复 $L$ 次得到 $L$ 个分类器，最后进行投票

$$h(x)={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}_{y\in Y}\sum _{l=1}^L\left[h_l(x)=y\right]$$

12.4 分类器输出融合

1. 决策层输出：对于待测试的样本，用每一个基分类器的分类结果投票，得票最多的类别号就是待测试样本的类别
2. 排序层输出：分类器输出为输入样本可能属于的类别列表，并依据可能性大小进行排序，之后采用 Borda 计数：对名次赋分，计算每个类别总得分并排序
3. 度量层输出：分类器输出为样本归属于各个类别的一种相似性度量，对于每一类的所有的相似性度量值求和，和值最大的类别就是未知样本的类别标号

12.5 多分类器方法有效的原因

1. 统计方面：避免单分类器分类时的不稳定性
2. 计算方面：脱离单分类器陷入的局部最优解
3. 表示方面：拓展原简单假设空间的表达能力

13 统计学习理论

13.1 PAC (Probably Approximately Correct) 可学习

若函数集 VC 维是有限值，则任意概率分布均 PAC 可学习

13.2 VC (Vapnic-Chervonenkis) 维

期望风险：

$$R\left(\omega \right)=\int L\left(y,f\left(x,\omega \right)\right)\mathrm{d}F\left(x,y\right)$$

经验风险：

$$R_{\mathrm{e}\mathrm{m}\mathrm{p}}\left(\omega \right)=\frac{1}{N}\sum _{i=1}^{N}L\left(y,f\left(x,\omega \right)\right)$$

VC 维：描述学习机器的复杂性

推广性界定理：

$$R\left(\omega \right)⩽R_{\mathrm{e}\mathrm{m}\mathrm{p}}\left(\omega \right)+\Phi \left(\frac{n}{\mathrm{V}\mathrm{C}}\right)$$

其中函数 $\Phi \searrow$

13.3 没有免费的午餐

• 不存在一种模式分类算法具有天然的优越性，甚至不比随机猜测更好
• 如果某种算法对某个特定的问题看上去比另一种算法更好，其原因仅仅是它更适合这一特定的模式分类任务

13.4 丑小鸭定理

不存在与问题无关的最好的特征集合或属性集合

14 算法优缺点

14.1 贝叶斯分类器

优点：

• 理论上可以满足分类错误率最小
• 对于服从特定模型的样本有较好的分类结果
• 是其他分类算法的理论基础

缺点：

• 依赖模型 (类先验概率，类条件概率分布的形式和具体参数) ，因此模型可能选错
• 模型的参数可能过拟合
• 实际样本独立同分布难以满足

14.2 SVM

优点：

• 将低位空间线性不可分问题变换到高维空间，使其线性可分，由于只需要进内积计算，并没有增加多少计算复杂度
• 推广能力与变换空间维数无关，具有较好的推广能力
• 相对于传统方法，对模型具有一定的不敏感性

缺点：

• 对大规模训练样本难以实施
• 解决多分类问题存在困难
• 对缺失数据敏感，对参数和核函数的选择敏感

14.3 近邻法

优点：

• 错误率在贝叶斯错误率及其两倍之间
• 算法直观容易理解易于实现
• 可以适用任何分布的样本，算法适用性强

缺点：

• 需将所有样本存入计算机中，每次决策都要计算待识别样本与全部训练样本的距离并进行比较，存储和计算开销大
• 当错误的代价很大时，会产生较大风险
• 错误率的分析是渐进的，这要求样本为无穷，实际中这一条件很难达到

15 矩阵求导

15.1 迹 Trace

$$\frac{\partial \mathrm{T}\mathrm{r}\left(W^{\top }\Sigma W\right)}{\partial W}=2\Sigma W$$

$$\frac{\partial \mathrm{T}\mathrm{r}\left(AB\right)}{\partial A}=B+B^{\top }-\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left(B\right)$$

15.2 行列式

$$\frac{\partial \ln |A|}{\partial A}=2A^{-1}-\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left(A^{-1}\right)$$

16 补充内容

• 感知准则函数：
  $$\min J_p\left(a\right)=\sum _{y\in Y^k}\left(-a^{\top }y\right)⩾0$$
  以使错分样本到分界面距离之和最小为原则

• 分类器错误率：分类结果中与样本实际类别不同的样本在总体中的比例

• 错误率估计方法：理论计算，计算错误率的上界，实验估计

• Fisher 与 Perceptron：Fisher 线性判别是把线性分类器的设计分为两步，一是确定最优方向，二是在这个方向上确定分类阈值；感知机则是通过不断迭代直接得到线性判别函数

• K-means 与 EM (GMM)：K 均值算法对数据点的聚类进行了硬分配，即每个数据点只属于唯一的聚类，而 EM 算法基于后验概率分布，进行了一个软分配。实际上，可以把 K 均值算法看成 GMM 的 EM 算法的一个特殊的极限情况。考虑高斯混合模型协方差矩阵均为 $ϵI$，从而

  $$P\left(x|{\mu }_k,{\Sigma }_k\right)=\frac{1}{{\left(2\pi ϵ\right)}^{d/2}}\exp \left(-\frac{{\Vert x-{\mu }_k\Vert }^2}{2ϵ}\right)$$

  令 $ϵ\to 0$ 则可得到 K 均值算法的硬分配

参考文献

• 张长水, 赵虹. 模式识别课程讲义与作业. 清华大学, 2021.
• 张学工. 模式识别第3版. 清华大学出版社, 2010.
• Richard O. Duda, Peter E. Hart, David G. Stork. Pattern classification, 2nd Edition. Hoboken: Wiley, 2000.