模式识别期末复习题集 第四章 非参数判别分类方法（包含详细解题步骤，重要概念解释）

模式识别

目录

第一章 绪论
第二章 贝叶斯决策理论
第三章 概率密度函数的参数估计
第四章 非参数判别分类方法
第五章 聚类分析
第六章 特征提取与选择

• 本系列博客包含2,3,4,5,6章的内容

引言

这是我期末复习时候整理的笔记。我会把每一章单独发一篇博客，都搞到一起无法发布，提示字数太多没办法了。

• 教材：模式识别及MATLAB实现
• ISBN： 978-7-121-32127-6
  

第四章 非参数判别分类方法

题目 1

设一3类问题有如下判决函数：

$$d_1(X)=-x_1$$

$$d_2(X)=x_1+x_2-1$$

$$d_3(X)=x_1-x_2-1$$

试画出下列各种情况的判决边界及各类的区域：

(1) ${\omega }_i/\overline{{\omega }_i}$ 两分法；

(2) ${\omega }_i/{\omega }_j$ 两分法，且令 $d_{12}(X)=d_1(X)$，$d_{13}(X)=d_2(X)$，$d_{23}(X)=d_3(X)$；

(3) 没有不确定区域的 ${\omega }_i/{\omega }_j$ 两分法。

• 方法解释：

  1. ${\omega }_i/\overline{{\omega }_i}$ 两分法：如果

     $$\{\begin{array}{l}{d}_i(X)>0\\ d_j(X)\le 0(\forall j\ne i),\end{array}$$

     则 $X\in {\omega }_i(i=1,2,\dots ,c)$。

  2. ${\omega }_i/{\omega }_j$ 两分法：如果

     $$d_{ij}(X)>0(\forall j=1,2,\dots ,k,j\ne i)$$

     则 $X\in {\omega }_i$。

  3. 没有不确定区域的 ${\omega }_i/{\omega }_j$ 两分法：

     如果

     $$d_i(X)>d_j(X)(\forall j=1,2,\dots ,k,j\ne i),$$

     则 $X\in {\omega }_i$。

答案：

红色区域表示${\omega }_1$
绿色区域表示${\omega }_2$
蓝色区域表示${\omega }_3$

1. ${\omega }_i/\overline{{\omega }_i}$ 两分法

在坐标上，画出 $d_1(X),d_2(X),d_3(X)$ ,然后根据${\omega }_i/\overline{{\omega }_i}$ 两分法：

$$\{\begin{array}{l}{d}_i(X)>0\\ d_j(X)\le 0(\forall j\ne i),\end{array}$$

$X\in {\omega }_i(i=1,2,\dots ,c)$

规则区分区域

2. ${\omega }_i/{\omega }_j$ 两分法，且令 $d_{12}(X)=d_1(X)$，$d_{13}(X)=d_2(X)$，$d_{23}(X)=d_3(X)$

在坐标上，画出 $d_{12}(X),d_{13}(X),d_{23}(X)$,然后根据${\omega }_i/{\omega }_j$ 两分法规则：
如果

$$d_i(X)>d_j(X)(\forall j=1,2,\dots ,k,j\ne i),$$

则 $X\in {\omega }_i$。
区分区域
- 当$d_{12}(X)>0,d_{13}(X)>0时X\in {\omega }_1$
- 当$d_{21}(X)>0,d_{23}(X)>0时X\in {\omega }_2$
- 当$d_{31}(X)>0,d_{32}(X)>0时X\in {\omega }_3$

3. 没有不确定区域的 ${\omega }_i/{\omega }_j$ 两分法。

   • 因为没有了不确定区域，所以必须所有分界线交叉于一个点，才不会有不确定区域，所以我们把三个判决函数两两相交得到新的三个分界线：$d_1(X)-d_2(X)=0,d_1(X)-d_2(X)=0,d_2(X)-d_3(X)=0$
   • 在坐标上画出这三条新的分界线

   根据没有不确定区域的 ${\omega }_i/{\omega }_j$ 两分法的规则：

   如果

   $$d_i(X)>d_j(X)(\forall j=1,2,\dots ,k,j\ne i),$$

   则 $X\in {\omega }_i$。
   所以:

   • 当$d_{12}(X)>0,d_{13}(X)>0时X\in {\omega }_1$
   • 当$d_{21}(X)>0,d_{23}(X)>0时X\in {\omega }_2$
   • 当$d_{31}(X)>0,d_{32}(X)>0时X\in {\omega }_3$

   区分区域

   

可视化Python代码：

import numpy as np

import matplotlib.pyplot as plt

# 定义判决函数

def d1(X):

    return -X[0]

def d2(X):

    return X[0] + X[1] - 1

def d3(X):

    return X[0] - X[1] - 1

# 生成网格

x = np.linspace(-2, 2, 400)

y = np.linspace(-2, 2, 400)

X, Y = np.meshgrid(x, y)

# 计算判决函数值

D1 = d1([X, Y])

D2 = d2([X, Y])

D3 = d3([X, Y])

# 绘制判决边界

plt.figure(figsize=(18, 12))

# (1) ωi/ω̅i 两分法

plt.subplot(2, 3, 1)

plt.contourf(X, Y, (D1 > 0) & (D2 <= 0) & (D3 <= 0), alpha=0.3, cmap='Reds')

plt.contourf(X, Y, (D2 > 0) & (D1 <= 0) & (D3 <= 0), alpha=0.3, cmap='Greens')

plt.contourf(X, Y, (D3 > 0) & (D1 <= 0) & (D2 <= 0), alpha=0.3, cmap='Blues')

plt.contour(X, Y, D1, levels=[0], colors='r')

plt.contour(X, Y, D2, levels=[0], colors='g')

plt.contour(X, Y, D3, levels=[0], colors='b')

plt.title('ωi/ω̅i dichotomy')

plt.legend(['ω1', 'ω2', 'ω3'])

# (2) ωi/ωj 两分法

plt.subplot(2, 3, 2)

plt.contourf(X, Y, (D1 > 0) & (D2 > 0), alpha=0.3, cmap='Reds')

plt.contourf(X, Y, (-D1 > 0) & (D3 > 0), alpha=0.3, cmap='Greens')

plt.contourf(X, Y, (-D2 > 0) & (-D3 > 0), alpha=0.3, cmap='Blues')

plt.contour(X, Y, D1, levels=[0], colors='r')

plt.contour(X, Y, D2, levels=[0], colors='g')

plt.contour(X, Y, D3, levels=[0], colors='b')

plt.title('ωi/ωj dichotomy')

plt.legend(['ω1', 'ω2', 'ω3'])

  

# (3) 没有不确定区域的 ωi/ωj 两分法

plt.subplot(2, 3, 3)

plt.contourf(X, Y, (D1 > D2) & (D1 > D3), alpha=0.3, cmap='Reds')

plt.contourf(X, Y, (D2 > D1) & (D2 > D3), alpha=0.3, cmap='Greens')

plt.contourf(X, Y, (D3 > D1) & (D3 > D2), alpha=0.3, cmap='Blues')

plt.contour(X, Y, D1 - D2, levels=[0], colors='r')

plt.contour(X, Y, D1 - D3, levels=[0], colors='g')

plt.contour(X, Y, D2 - D3, levels=[0], colors='b')

plt.title('ωi/ωj dichotomy without uncertainty region')

plt.legend(['ω1', 'ω2', 'ω3'])

plt.tight_layout()

plt.show()

题目 2

如下三个训练样本集分别属于三个类别，用感知器算法学习一个多类别线性分类器：

$$x_1=(1,1{)}^T,x_2=(2,2{)}^T,x_3=(2,0{)}^T$$
初始化判别函数的权值矢量：

$${\alpha }_1=(-4,1,3{)}^T,{\alpha }_2=(-2,4,-2{)}^T,{\alpha }_3=(1,-5,0{)}^T$$

解析：

将训练样本变成增广的特征矢量：

$$y_1=(1,1,1{)}^T,y_2=(2,2,1{)}^T,y_3=(2,0,1{)}^T$$
第一轮：

输入$y_1$,计算判别函数值：

$$g_1(y_1)={\alpha }_1^T{y}_1=0,g_2(y_1)={\alpha }_2^T{y}_1=0,g_3(y_1)={\alpha }_3^T{y}_1=-4$$
$g_3<g_1\le g_2$,修正权值矢量：

$${\alpha }_1={\alpha }_1+y_1=(-3,2,4{)}^T$$
$${\alpha }_2={\alpha }_2-y_1=(-3,3,-3{)}^T$$
$${\alpha }_3={\alpha }_3=(1,-5,0{)}^T$$
输入$y_2$,计算判别函数值：

$$g_1(y_2)={\alpha }_1^T{y}_2=2,g_2(y_2)={\alpha }_2^T{y}_2=-3,g_3(y_2)={\alpha }_3^T{y}_2=-8$$

$g_3<g_2<g_1$,修正权值矢量：

$${\alpha }_1={\alpha }_1-y_2=(-5,0,3{)}^T$$

$${\alpha }_2={\alpha }_2+y_2=(-1,5,-2{)}^T$$

$${\alpha }_3={\alpha }_3=(1,-5,0{)}^T$$

输入$y_3$,计算判别函数值：

$$g_1(y_3)={\alpha }_1^T{y}_3=-7,g_2(y_3)={\alpha }_2^T{y}_3=-4,g_3(y_3)={\alpha }_3^T{y}_3=2$$

$g_3>g_2>g_1$ ,无需修正权值矢量；

第二轮：

输入$y_1$,计算判别函数值：

$$g_1(y_1)={\alpha }_1^T{y}_1=-2,g_2(y_1)={\alpha }_2^T{y}_1=2,g_3(y_1)={\alpha }_3^T{y}_1=-4$$

$g_3<g_1<g_2$,修正权值矢量：

$${\alpha }_1={\alpha }_1+y_1=(-4,1,4{)}^T$$

$${\alpha }_2={\alpha }_2-y_1=(-2,4,-3{)}^T$$

$${\alpha }_3={\alpha }_3=(1,-5,0{)}^T$$

输入$y_2$,计算判别函数值：

$$g_1(y_2)={\alpha }_1^T{y}_2=-2,g_2(y_2)={\alpha }_2^T{y}_2=1,g_3(y_2)={\alpha }_3^T{y}_2=-8$$

$g_2>g_1>g_3$,无需修正权值矢量；

输入$y_3$,计算判别函数值：
$$g_1(y_3)={\alpha }_1^T{y}_3=-4,g_2(y_3)={\alpha }_2^T{y}_3=-1,g_3(y_3)={\alpha }_3^T{y}_3=2$$
$g_3>g_2>g_1$ ,无需修正权值矢量；

第三轮：

输入$y_1$,计算判别函数值：
$$g_1(y_1)={\alpha }_1^T{y}_1=1,g_2(y_1)={\alpha }_2^T{y}_1=-1,g_3(y_1)={\alpha }_3^T{y}_1=-4$$
$g_1>g_2>g_3$,无需修正权值矢量；

分类器能够正确识别全部训练样本，输出权值矢量：
$${\alpha }_1=(-4,1,4{)}^T,{\alpha }_2=(-2,4,-3{)}^T,{\alpha }_3=(1,-5,0{)}^T$$

对应三个类别的分类函数为：

$$g_1(x)=-4x_1+x_2+4,g_2(x)=-2x_1+4x_2-3,g_3(x)=x_1-5x_2$$
转换成一对一式的判别函数：
$$g_{12}(x)=g_1(x)-g_2(x)=-2x_1-3x_2+7$$
$$g_{13}(x)=g_1(x)-g_3(x)=-5x_1+6x_2+4$$
$$g_{23}(x)=g_2(x)-g_3(x)=-3x_1+9x_2-3$$

题目 3

设两类样本的类内散布矩阵分别为$S_1=\left[\begin{array}{cc}1& \frac{1}{2}\\ \frac{1}{2}& 1\end{array}\right],S_2=\left[\begin{array}{cc}1& -\frac{1}{2}\\ -\frac{1}{2}& 1\end{array}\right]$, 两类的类心分别为${\mathbf{m}}_1=(2,0{)}^{\mathrm{T}}$, ${\mathbf{m}}_2=(2,2{)}^{\mathrm{T}}$,试用 fisher 准则求其决策面方程。

解： $s_w=\left[\begin{array}{cc}1& \frac{1}{2}\\ \frac{1}{2}& 1\end{array}\right]+\left[\begin{array}{cc}1& -\frac{1}{2}\\ -\frac{1}{2}& 1\end{array}\right]=\left[\begin{array}{cc}2& 0\\ 0& 2\end{array}\right]$
$S_w^{-1}=\left[\begin{array}{cc}\frac{1}{2}& 0\\ 0& \frac{1}{2}\end{array}\right]$

投影方向为$W=S_w^{-1}(m_1-m_2)=\left[\begin{array}{cc}\frac{1}{2}& 0\\ 0& \frac{1}{2}\end{array}\right]\left(\begin{array}{c}0\\ -2\end{array}\right)=\left(\begin{array}{c}0\\ -1\end{array}\right)$
则决策面方程为$y=W^T\left(x-\frac{m_1+m_2}{2}\right)$
=(0 $-1)\left(\begin{array}{c}{x}_1^2-\acute{2}\\ x_2-1\end{array}\right)$
$=-x_2+1$
$$\begin{array}{rl}& w^{\ast }=S_w^{-1}(m_1-m_2)=\left[\begin{array}{c}1\\ -1\\ -1\end{array}\right]\\ & \text{则决策面方程为 }y=w^{\ast T}\left(x-\frac{m_1+m_2}{2}\right)\\ & =\left[\begin{array}{ccc}1& -1& -1\end{array}\right]\left[\begin{array}{c}{x}_1-\frac{1}{2}\\ x_2-\frac{1}{2}\\ x_3-\frac{1}{2}\end{array}\right]\\ & =x_1-x_2-x_3+\frac{1}{2}\end{array}$$

题目 4

$$\begin{gathered} x_1^1=[0,0,0{]}^T,x_1^2=[1,0,0{]}^T,x_1^3=[1,0,1{]}^T,x_1^4=[1,1,0{]}^T \\ {x}_2^1=[0,0,1{]}^T,x_2^2=[0,1,0{]}^T,x_2^3=[0,1,1{]}^T,x_2^4=[1,1,1{]}^T \end{gathered}$$
使用Fisher线性判别方法给出这两类样本的分类面。

解析：

$$m_1=\left[\begin{array}{c}0.75\\ 0.25\\ 0.25\end{array}\right]m_2=\left[\begin{array}{c}0.25\\ 0.75\\ 0.75\end{array}\right]$$
$$\begin{array}{c}{S}_1=\sum _{i=1}^4(x_i-m_1)(x_i-m_1{)}^T=\left[\begin{array}{ccc}\frac{9}{16}& \frac{3}{16}& \frac{3}{16}\\ \frac{3}{16}& \frac{1}{16}& \frac{1}{16}\\ \frac{3}{16}& \frac{1}{16}& \frac{1}{16}\end{array}\right]+\left[\begin{array}{ccc}\frac{1}{16}& -\frac{1}{16}& -\frac{1}{16}\\ \frac{1}{16}& \frac{1}{16}& \frac{1}{16}\\ -\frac{1}{16}& \frac{1}{16}& \frac{1}{16}\end{array}\right]+\left[\begin{array}{ccc}\frac{1}{16}& -\frac{1}{16}& \frac{3}{16}\\ -\frac{1}{16}& \frac{1}{16}& -\frac{3}{16}\\ \frac{3}{16}& -\frac{3}{16}& \frac{9}{16}\end{array}\right]\end{array}$$
$$\begin{array}{r}+\left[\begin{array}{ccc}\frac{1}{16}& \frac{3}{16}& -\frac{1}{16}\\ \frac{3}{16}& \frac{9}{16}& -\frac{3}{16}\\ -\frac{1}{16}& -\frac{3}{16}& \frac{1}{16}\end{array}\right]=\left[\begin{array}{ccc}\frac{3}{4}& \frac{1}{4}& \frac{1}{4}\\ \frac{1}{4}& \frac{3}{4}& -\frac{1}{4}\\ \frac{1}{4}& -\frac{1}{4}& \frac{3}{4}\end{array}\right]\end{array}$$

$$S_2=\sum _{i=1}^4(x_i-m_2)(x_i-m_2{)}^T=\left[\begin{array}{ccc}\frac{1}{16}& \frac{3}{16}& -\frac{1}{16}\\ \frac{3}{16}& \frac{9}{16}& -\frac{3}{16}\\ -\frac{1}{16}& -\frac{3}{16}& \frac{1}{16}\end{array}\right]+\left[\begin{array}{ccc}\frac{1}{16}& -\frac{1}{16}& \frac{3}{16}\\ -\frac{1}{16}& \frac{1}{16}& -\frac{3}{16}\\ \frac{3}{16}& -\frac{3}{16}& \frac{9}{16}\end{array}\right]$$
$$+\left[\begin{array}{ccc}\frac{1}{16}& -\frac{1}{16}& -\frac{1}{16}\\ -\frac{1}{16}& \frac{1}{16}& \frac{1}{16}\\ -\frac{1}{16}& \frac{1}{16}& \frac{1}{16}\end{array}\right]+\left[\begin{array}{ccc}\frac{9}{16}& \frac{3}{16}& \frac{3}{16}\\ \frac{3}{16}& \frac{1}{16}& \frac{1}{16}\\ \frac{3}{16}& \frac{1}{16}& \frac{1}{16}\end{array}\right]=\left[\begin{array}{ccc}\frac{3}{4}& \frac{1}{4}& \frac{1}{4}\\ \frac{1}{4}& \frac{3}{4}& -\frac{1}{4}\\ \frac{1}{4}& -\frac{1}{4}& \frac{3}{4}\end{array}\right]$$
$$S_w=(S_1+S_2)=\frac{1}{2}\left[\begin{array}{ccc}3& 1& 1\\ 1& 3& -1\\ 1& -1& 3\end{array}\right]S_w^{-1}=\left(\begin{array}{ccc}1& -\frac{1}{2}& -\frac{1}{2}\\ -\frac{1}{2}& 1& \frac{1}{2}\\ -\frac{1}{2}& \frac{1}{2}& 1\end{array}\right)$$

$$w^{\ast }=S_w^{-1}(m_1-m_2)=\left[\begin{array}{c}1\\ -1\\ -1\end{array}\right],y_0=\frac{w^{\ast T}{m}_1+w^{\ast T}{m}_2}{2}=-\frac{1}{2}$$

则决策面方程为$w^{\ast T}x-y_0$

=$\left|\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right|+\frac{1}{2}$

$=x_1-x_2-x_3+\frac{1}{2}$

决策面方程为$0=w^{\ast }T\left(x-\frac{m_1+m_2}{2}\right)$

=$\left[\begin{array}{c}{x}_1-\frac{1}{2}\\ x_2-\frac{1}{2}\\ x_3-\frac{1}{2}\end{array}\right]$

$=x_1-x_2-x_3+\frac{1}{2}$

或者也可以写为
$$\begin{array}{rl}\text{决策面方程为 }& w^{\ast T}\left(x-\frac{m_1+m_2}{2}\right)\\ & =\left[\begin{array}{ccc}1& -1& -1\end{array}\right]\left[\begin{array}{c}{x}_1-\frac{1}{2}\\ x_2-\frac{1}{2}\\ x_3-\frac{1}{2}\end{array}\right]\\ & =x_1-x_2-x_3+\frac{1}{2}\end{array}$$

题目 5

4.5.对于样本空间中的一划分超平面$w^T$x$+b=0$,有$w^T=(-1,3,2)$,b= 1, 则判断向量(4.-2.2)、(2.5.-6.5)、(4.-2.4) 是否为支持向量，并求出间隔。

解析

• 公式如下
  $$\begin{array}{c}{y}_i[(w^T\cdot x_i)+b]=1\\ \{\begin{array}{ll}\left(w^T\cdot x_i\right)+b=1,y_i=+1& \\ \left(w^T\cdot x_i\right)+b=-1,y_i=-1& \end{array}\\ \mathrm{M}=\frac{2}{\Vert w\Vert }\end{array}$$
  $$\begin{array}{rl}解:& \\ & 最大间隔为:d=\frac{2}{||w||}=\frac{2}{\sqrt{1+9+4}}=\frac{\sqrt{14}}{7}\\ & 判断向量是否为支持向量\\ & ①x_1=(4,-2,2)\\ & W^T{x}_1+b=-4-6+4+1=5>1\\ & x_1不是支持向量\\ & ②x_2=(2,5,-6.5)\\ & W^7{x}_2+b=-2+15-13+1=1\\ & x_2是支持向量\\ & .③x_3=(4,-2,4)\\ & w^T{x}_3+b=-4-6+8+1=-1\\ & x_3是支持向量\end{array}$$