模式识别期末复习题集第五章聚类分析（包含详细解题步骤，重要概念解释）

模式识别

引言

这是我期末复习时候整理的笔记。我会把每一章单独发一篇博客，都搞到一起无法发布，提示字数太多没办法了。

教材：模式识别及MATLAB实现
ISBN： 978-7-121-32127-6

第五章聚类分析

题目1

聚类分析中，有哪些常见的表示样本相似性的方法？有哪些常用的类间距离定义方式？

解析

在聚类分析中，样本相似性的表示方法和类间距离的定义方式是关键。常见的样本相似性表示方法包括欧氏距离、曼哈顿距离、余弦相似度等。常用的类间距离定义方式包括最短距离法、最长距离法、组间平均链锁法、组内平均链锁法和重心法等。

重要概念

样本相似性表示方法：
- 欧氏距离： $\sqrt{\sum_{i=1}^{n} (x_i - y_i)^2}$
  - 适用场景：适合数值型特征，需保证特征量纲一致。
  - 注意事项：对异常值敏感，需进行数据标准化或归一化。
- 曼哈顿距离： $\sum_{i=1}^{n} |x_i - y_i|$
  - 适用场景：适合网格路径问题或特征独立分布的情况。
  - 注意事项：对高维数据不稳定。
- 余弦相似度： $\text{cosine similarity}(x, y) = \frac{x \cdot y}{\|x\| \|y\|}$
  - 适用场景：高维稀疏数据（如文本或推荐系统）。
  - 注意事项：反映方向相似性，不考虑大小差异。
类间距离定义方式：
- 最短距离法： $d(C_1, C_2) = \min_{x \in C_1, y \in C_2} d(x, y)$
  - 适用场景：寻找密度较高的紧密聚类。
  - 注意事项：可能产生“链状效应”。
- 最长距离法： $d(C_1, C_2) = \max_{x \in C_1, y \in C_2} d(x, y)$
  - 适用场景：聚类间差异显著时使用。
  - 注意事项：对噪声和异常值敏感。
- 组间平均链锁法：
  $d(C_1, C_2) = \frac{1}{|C_1||C_2|} \sum_{x \in C_1} \sum_{y \in C_2} d(x, y)$
  - 适用场景：平衡聚类间所有样本的距离。
  - 注意事项：对噪声较为鲁棒，但计算复杂度高。
- 组内平均链锁法：
  $d(C_1, C_2) = \frac{1}{|C_1| + |C_2|} \left( \sum_{x \in C_1} \sum_{y \in C_2} d(x, y) + \sum_{x, y \in C_1} d(x, y) + \sum_{x, y \in C_2} d(x, y) \right)$
  - 适用场景：综合类内和类间信息。
  - 注意事项：计算复杂度进一步增加。
- 重心法：
  $d(C_1, C_2) = d(\bar{x}_1, \bar{x}_2)$
  其中 $\bar{x}_1$ 和 $\bar{x}_2$ 分别是 $C_1$ 和 $C_2$ 的重心。
  - 适用场景：类内分布相对均匀时效果较好。
  - 注意事项：对不规则形状的簇可能失效。

题目 2

给定待分样本 $X = [X_p, X_o, X_u]$ ， $\{w_1, w_2, \dots, w_c\}$ ，证明总体离散度矩阵 $S_t$ 是总的类内离散度矩阵 $S_w$ 与类间离散度矩阵 $S_b$ 之和，即 $S_t = S_w + S_b$ 。

解析

证明:
$\begin{gathered} &\text{令}\omega_{i}\text{类的离散度矩阵为}S_{i}=\sum_{X_{i}\in\omega_{i}}(X_{i}-M_{i})(X_{i}-&M_{i})^{T},\text{则} \\ &S_{W}=\sum_{i=1}^{c}s_{i} \\ &S_{b}=\sum_{i=1}^{c}N_{i}(M_{i}-M)(M_{i}-M)^{T} \\ &S_{t}=\sum_{i=1}^{N}(X_{i}-M)(X_{i}-M)^{T} &\end{gathered}$

$\begin{aligned} S_{t} & =\sum_{i=1}^{N}N_{i}(X_{i}-M)(X_{i}-M)^{T} \\ & =\sum_{i=1}^{c}\sum_{X_{i}\in\omega_{i}}(X_{i}-M_{i}+M_{i}-M)(X_{i}-M_{i}+M_{i}-M)^{T} \\ & =\sum_{i=1}^{c}\sum_{X_{i}\in\omega_{i}}(X_{i}-M_{i})(X_{i}-M_{i})^{T} \\ & +\sum_{i=1}^{c}\sum_{X_{i}\in\omega_{i}}(M_{i}-M)(M_{i}-M)^{T} \\ & +\sum_{i=1}^{c}\sum_{X_{i}\in\omega_{i}}2(X_{i}-M_{i})(M_{i}-M)^{T} \\ & =\sum_{i=1}^{c}S_{i}+\sum_{i=1}^{c}N_{i}(M_{i}-M)(M_{i}-M)^{T}+0 \\ & =S_{w}+S_{b} \end{aligned}$

重要概念

这个问题使用的是线性判别分析（LDA）中的离散度矩阵概念。我们要证明总离散度矩阵 $S_t$ 是类内离散度矩阵 $S_w$ 与类间离散度矩阵 $S_b$ 之和。
1. 类内离散度矩阵 ( $S_w$ ): 它是各类样本点相对于该类均值的离散度。
2. 类间离散度矩阵 ( $S_b$ ): 它度量的是各类均值相对于总体均值的离散度。
3. 总离散度矩阵 ( $S_t$ ): 它表示所有样本点相对于总体均值的离散度。
通过展开 $S_t$ ，分解为类内和类间两部分后，得到了 $S_t = S_w + S_b$ 的结论。这表明，整体的样本离散度可以分解为类内和类间离散度的和。

题目 3

解析

1. 初始化

选择初始聚类中心：

$C_1 = A_1(2,10)$
$C_2 = A_2(2,5)$
$C_3 = A_3(8,4)$

2. 第一次迭代

计算每个数据点到三个聚类中心的欧氏距离，并将其分配到最近的簇。

计算距离

使用欧氏距离公式：
$\sqrt{(x_2 - x_1)^2 + (y_2 - y_1)^2}$

$A_1(2,10)$ ：
- $d(A_1, C_1) = \sqrt{(2-2)^2 + (10-10)^2} = 0$
- $d(A_1, C_2) = \sqrt{(2-2)^2 + (10-5)^2} = 5$
- $d(A_1, C_3) = \sqrt{(2-8)^2 + (10-4)^2} = \sqrt{36 + 36} = \sqrt{72} \approx 8.49$
- 归类到簇1
$A_2(2,5)$ ：
- $d(A_2, C_1) = \sqrt{(2-2)^2 + (5-10)^2} = 5$
- $d(A_2, C_2) = \sqrt{(2-2)^2 + (5-5)^2} = 0$
- $d(A_2, C_3) = \sqrt{(2-8)^2 + (5-4)^2} = \sqrt{36 + 1} = \sqrt{37} \approx 6.08$
- 归类到簇2
$A_3(8,4)$ ：
- $d(A_3, C_1) = \sqrt{(8-2)^2 + (4-10)^2} = \sqrt{36 + 36} = \sqrt{72} \approx 8.49$
- $d(A_3, C_2) = \sqrt{(8-2)^2 + (4-5)^2} = \sqrt{36 + 1} = \sqrt{37} \approx 6.08$
- $d(A_3, C_3) = \sqrt{(8-8)^2 + (4-4)^2} = 0$
- 归类到簇3
$B_1(5,8)$ ：
- $d(B_1, C_1) = \sqrt{(5-2)^2 + (8-10)^2} = \sqrt{9 + 4} = \sqrt{13} \approx 3.61$
- $d(B_1, C_2) = \sqrt{(5-2)^2 + (8-5)^2} = \sqrt{9 + 9} = \sqrt{18} \approx 4.24$
- $d(B_1, C_3) = \sqrt{(5-8)^2 + (8-4)^2} = \sqrt{9 + 16} = \sqrt{25} = 5$
- 归类到簇1
$B_2(7,5)$ ：
- $d(B_2, C_1) = \sqrt{(7-2)^2 + (5-10)^2} = \sqrt{25 + 25} = \sqrt{50} \approx 7.07$
- $d(B_2, C_2) = \sqrt{(7-2)^2 + (5-5)^2} = \sqrt{25 + 0} = 5$
- $d(B_2, C_3) = \sqrt{(7-8)^2 + (5-4)^2} = \sqrt{1 + 1} = \sqrt{2} \approx 1.41$
- 归类到簇3
$B_3(6,4)$ ：
- $d(B_3, C_1) = \sqrt{(6-2)^2 + (4-10)^2} = \sqrt{16 + 36} = \sqrt{52} \approx 7.21$
- $d(B_3, C_2) = \sqrt{(6-2)^2 + (4-5)^2} = \sqrt{16 + 1} = \sqrt{17} \approx 4.12$
- $d(B_3, C_3) = \sqrt{(6-8)^2 + (4-4)^2} = \sqrt{4 + 0} = 2$
- 归类到簇3
$C_1(1,2)$ ：
- $d(C_1, C_1) = \sqrt{(1-2)^2 + (2-10)^2} = \sqrt{1 + 64} = \sqrt{65} \approx 8.06$
- $d(C_1, C_2) = \sqrt{(1-2)^2 + (2-5)^2} = \sqrt{1 + 9} = \sqrt{10} \approx 3.16$
- $d(C_1, C_3) = \sqrt{(1-8)^2 + (2-4)^2} = \sqrt{49 + 4} = \sqrt{53} \approx 7.28$
- 归类到簇2
$C_2(4,9)$ ：
- $d(C_2, C_1) = \sqrt{(4-2)^2 + (9-10)^2} = \sqrt{4 + 1} = \sqrt{5} \approx 2.24$
- $d(C_2, C_2) = \sqrt{(4-2)^2 + (9-5)^2} = \sqrt{4 + 16} = \sqrt{20} \approx 4.47$
- $d(C_2, C_3) = \sqrt{(4-8)^2 + (9-4)^2} = \sqrt{16 + 25} = \sqrt{41} \approx 6.40$
- 归类到簇1

第一次迭代后的簇分配：

簇1： $A_1(2,10), B_1(5,8), C_2(4,9)$
簇2： $A_2(2,5), C_1(1,2)$
簇3： $A_3(8,4), B_2(7,5), B_3(6,4)$

3. 重新计算聚类中心

簇1新中心：
$C_1 = \left( \frac{2 + 5 + 4}{3}, \frac{10 + 8 + 9}{3} \right) = \left( 3.67, 9 \right)$
簇2新中心：
$C_2 = \left( \frac{2 + 1}{2}, \frac{5 + 2}{2} \right) = \left( 1.5, 3.5 \right)$
簇3新中心：
$C_3 = \left( \frac{8 + 7 + 6}{3}, \frac{4 + 5 + 4}{3} \right) = \left( 7, 4.33 \right)$

4. 第二次迭代

重新计算每个数据点到新聚类中心的距离，并分配到最近的簇。结果与第一次迭代相同，算法收敛。

请聚类下列数据（其中（ $x, y$ ）代表坐标），将其分为三个簇。试用C均值算法进行聚类分析，类数c=3，初始聚类中心为 $A_1、A_2和A_3$ 。(假设距离为欧式距离)

数据点：

$A_{1}(2,10)$
$A_{2}(2,5)$
$A_{3}(8,4)$
$B_{1}(5,8)$
$B_{2}(7,5)$
$B_{3}(6,4)$
$C_{1}(1,2)$
$C_{2}(4,9)$

重要概念

C均值算法（K-means算法）：一种迭代算法，用于将数据点划分为 $K$ 个簇，使得每个点属于最近的聚类中心。
欧氏距离：用于衡量两个点之间的距离，公式为：
$\sqrt{(x_2 - x_1)^2 + (y_2 - y_1)^2}$
聚类中心：每个簇的中心点，通常是簇内所有点的平均值。

可视化结果

![[clustringtest3.png|400]]

代码：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans

# 给定的数据点
data = np.array([
    [2, 10],  # A1
    [2, 5],   # A2
    [8, 4],   # A3
    [5, 8],   # B1
    [7, 5],   # B2
    [6, 4],   # B3
    [1, 2],   # C1
    [4, 9]    # C2
])

# 使用K-means算法进行聚类，分为3个簇
kmeans = KMeans(n_clusters=3, random_state=0).fit(data)

# 获取聚类结果
labels = kmeans.labels_
centers = kmeans.cluster_centers_

# 可视化聚类结果
plt.figure(figsize=(8, 6))

# 绘制数据点
for i in range(3):
    plt.scatter(data[labels == i, 0], data[labels == i, 1], label=f'Cluster {i+1}')

# 绘制聚类中心
plt.scatter(centers[:, 0], centers[:, 1], s=200, c='red', marker='X', label='Centers')

# 添加标签和标题
plt.title('K-means Clustering')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.grid()

# 显示图像
plt.show()

题目 4

总结C均值聚类算法、模糊C均值聚类算法、改进的模糊C均值聚类算法流程。

解析

C均值聚类算法

C均值聚类算法（K-means）是一种硬聚类算法，它将数据集划分为 $K$ 个簇，每个数据点只能属于一个簇。算法流程如下：

初始化：随机选择 $K$ 个初始聚类中心。
分配：将每个数据点分配到距离最近的聚类中心所在的簇。
更新：重新计算每个簇的聚类中心，通常是簇内所有数据点的均值。
迭代：重复步骤2和步骤3，直到聚类中心不再发生变化或达到最大迭代次数。

数学公式

欧氏距离公式：
$\sqrt{\sum_{i=1}^n (x_i - y_i)^2}$
聚类中心更新公式：
$C_j = \frac{1}{|S_j|} \sum_{x \in S_j} x$
其中， $S_j$ 是第 $j$ 个簇的数据点集合。

模糊C均值聚类算法

模糊C均值聚类算法（Fuzzy C-means, FCM）是一种软聚类算法，它允许数据点属于多个簇，并使用隶属度来表示数据点属于每个簇的程度。算法流程如下：

初始化：随机初始化隶属度矩阵 $U$ ，其中 $U_{ij}$ 表示数据点 $x_i$ 属于第 $j$ 个簇的隶属度。
计算聚类中心：根据隶属度矩阵 $U$ 计算每个簇的聚类中心 $C_j$ 。
更新隶属度：根据数据点和聚类中心的距离，更新隶属度矩阵 $U$ 。
迭代：重复步骤2和步骤3，直到隶属度矩阵 $U$ 的变化小于某个阈值或达到最大迭代次数。

数学公式

聚类中心计算公式：
$C_j = \frac{\sum_{i=1}^n (U_{ij})^m x_i}{\sum_{i=1}^n (U_{ij})^m}$
其中， $m$ 是模糊因子，通常取 $m = 2$ 。
隶属度更新公式：
$U_{ij} = \frac{1}{\sum_{k=1}^K \left( \frac{d(x_i, C_j)}{d(x_i, C_k)} \right)^{\frac{2}{m-1}}}$
其中， $d(x_i, C_j)$ 是数据点 $x_i$ 到聚类中心 $C_j$ 的距离。

改进的模糊C均值聚类算法

改进的模糊C均值聚类算法（Improved Fuzzy C-means, IFCM）在FCM的基础上引入了一些改进，例如加权模糊因子、局部密度加权等，以提高聚类效果。算法流程如下：

初始化：与FCM相同，随机初始化隶属度矩阵 $U$ 。
计算加权聚类中心：根据加权模糊因子计算每个簇的聚类中心 $C_j$ 。
更新加权隶属度：根据加权距离和局部密度加权，更新隶属度矩阵 $U$ 。
迭代：重复步骤2和步骤3，直到隶属度矩阵 $U$ 的变化小于某个阈值或达到最大迭代次数。

数学公式

加权聚类中心计算公式：
$C_j = \frac{\sum_{i=1}^n (U_{ij})^m w_i x_i}{\sum_{i=1}^n (U_{ij})^m w_i}$
其中， $w_i$ 是数据点 $x_i$ 的权重。
加权隶属度更新公式：
$U_{ij} = \frac{1}{\sum_{k=1}^K \left( \frac{d(x_i, C_j) w_i}{d(x_i, C_k) w_i} \right)^{\frac{2}{m-1}}}$

重要概念

C均值聚类算法（K-means）：一种硬聚类算法，每个数据点只能属于一个簇。
模糊C均值聚类算法（Fuzzy C-means, FCM）：一种软聚类算法，允许数据点属于多个簇，并使用隶属度表示数据点属于每个簇的程度。
改进的模糊C均值聚类算法（Improved Fuzzy C-means, IFCM）：在FCM的基础上引入加权模糊因子和局部密度加权，以提高聚类效果。
欧氏距离：用于衡量两个点之间的距离，公式为 $\sqrt{\sum_{i=1}^n (x_i - y_i)^2}$ 。
隶属度：表示数据点属于某个簇的程度，取值范围为 $[0, 1]$ 。

题目 5

以RatioCut切图方式简述谱聚类算法流程。

解析

谱聚类是一种基于图论的聚类算法，它通过将数据点表示为图的顶点，并利用图的拉普拉斯矩阵进行聚类。RatioCut切图方式是谱聚类中的一种常用方法，其目标是最小化簇间相似度同时最大化簇内相似度。算法流程如下：

构建相似度矩阵：
- 根据数据点之间的相似度构建相似度矩阵 $W$ ，通常使用高斯核函数计算相似度：
  $W_{ij} = \exp\left(-\frac{\|x_i - x_j\|^2}{2\sigma^2}\right)$
- 如果数据点 $i$ 和 $j$ 之间的距离大于某个阈值，则将 $W_{ij}$ 设为0。
计算度矩阵：
- 度矩阵 $D$ 是一个对角矩阵，其对角元素 $D_{ii}$ 为相似度矩阵 $W$ 中第 $i$ 行的和：
  $D_{ii} = \sum_{j=1}^n W_{ij}$
计算拉普拉斯矩阵：
- 拉普拉斯矩阵 $L$ 定义为：
  $L = D - W$
计算归一化拉普拉斯矩阵：
- 归一化拉普拉斯矩阵 $L_{\text{norm}}$ 定义为：
  $L_{\text{norm}} = D^{-1/2} L D^{-1/2}$
求解特征值问题：
- 对归一化拉普拉斯矩阵 $L_{\text{norm}}$ 进行特征值分解，得到前 $K$ 个最小特征值对应的特征向量。
构建特征向量矩阵：
- 将前 $K$ 个特征向量按列排列，构成特征向量矩阵 $V$ 。
K-means聚类：
- 对特征向量矩阵 $V$ 的每一行进行K-means聚类，得到最终的聚类结果。

重要概念

相似度矩阵 $W$ ：表示数据点之间的相似度，通常使用高斯核函数计算。
度矩阵 $D$ ：对角矩阵，其对角元素为相似度矩阵 $W$ 中每行的和。
拉普拉斯矩阵 $L$ ：定义为 $L = D - W$ ，用于衡量图的连接性。
归一化拉普拉斯矩阵 $L_{\text{norm}}$ ：定义为 $L_{\text{norm}} = D^{-1/2} L D^{-1/2}$ ，用于归一化处理。
特征值分解：对矩阵进行特征值分解，得到特征值和特征向量。
K-means聚类：对特征向量矩阵进行K-means聚类，得到最终的聚类结果。

题目 6

设有二维样本： $x_1 = [-1, 0]^\mathrm{T}$ , $x_2 = [0, -1]^\mathrm{T}$ , $x_3 = [0, 0]^\mathrm{T}$ , $x_4 = [2, 0]^\mathrm{T}$ 和 $x_5 = [0, 2]^\mathrm{T}$ 。试选用一种合适的方法进行一维特征提取 $y_i = W^\mathrm{T}x_i$ 。要求求出变换矩阵 $W$ ，并求出变换结果 $y_i \left(i=1,2,3,4,5\right)$ 。（要求：基于 K-L 变换进行特征提取）
根据 (1) 特征提取后的一维特征，选用一种合适的聚类算法将这些样本分为两类，要求每类样本个数不少于两个，并写出聚类过程。（要求：最短距离法）

解析：

(1)

$\begin{aligned} & x = \begin{bmatrix} -1 & 0 & 0 & 2 & 0 \\ 0 & -1 & 0 & 0 & 2 \end{bmatrix}, \quad R = E(xx^\mathrm{T}) = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}, \\ & |\lambda I - R| = \begin{vmatrix} \lambda - 1 & 0 \\ 0 & \lambda - 1 \end{vmatrix} = 0 \Longrightarrow \lambda_1 = \lambda_2 = 1 \\ & R \vec{t}_j = \lambda_j \vec{t}_j, \quad j = 1, 2 \Rightarrow \vec{t}_1 = \left[\frac{\sqrt{2}}{2}, \frac{\sqrt{2}}{2}\right]^\mathrm{T} \\ & \text{当 } d = 1 \text{ 时，选取 } \lambda_1 \text{ 对应的 } \vec{t}_1 \text{ 作为变换矩阵} \\ & W = \left[\vec{t}_1\right] = \left[\frac{\sqrt{2}}{2}, \frac{\sqrt{2}}{2}\right]^\mathrm{T} \\ & y^{(1)} = W^\mathrm{T}x = \left[\frac{\sqrt{2}}{2}, \frac{\sqrt{2}}{2}\right] \begin{bmatrix} -1 & 0 & 0 & 2 & 0 \\ 0 & -1 & 0 & 0 & 2 \end{bmatrix} = \left[-\frac{\sqrt{2}}{2}, -\frac{\sqrt{2}}{2}, 0, \frac{\sqrt{2}}{2}, \frac{\sqrt{2}}{2}\right] \end{aligned}$

降维后的样本矩阵为：
$[y_1, y_2, y_3, y_4, y_5] = \left[-\frac{\sqrt{2}}{2}, -\frac{\sqrt{2}}{2}, 0, \sqrt{2}, \sqrt{2}\right]$

(2)

采用的聚类算法为最小距离法。

$D_{HK} = \min\{D_{HI}, D_{HJ}\}$

设全部样本分为5类,
作距离矩阵 $D (0)$
- 需要自己计算距离矩阵 $D (0), D (1)$
取最小元素.
把 $\omega_1, \omega_2$ 合并为 $\omega_6 = \left(-\frac{\sqrt{2}}{2}, -\frac{\sqrt{2}}{2}\right)$ , 把 $\omega_4, \omega_5$ 合并为 $\omega_7 = \left(\sqrt{2}, -\sqrt{2}\right)$
作距离矩阵 $D (1)$ , 将 $\omega_3, \omega_6$ 合并为 $\omega_8 = \left(-\frac{\sqrt{2}}{2}, -\frac{\sqrt{2}}{2}, 0\right)$
聚类满足题目中要求, 分为两类 $\omega_7 = \left(\sqrt{2}, -\sqrt{2}\right)$ , $\omega_8 = \left(-\frac{\sqrt{2}}{2}, -\frac{\sqrt{2}}{2}, 0\right)$

聚类过程：

初始化：
- 将每个样本单独看作一类：
  $z_1 = \{y_1\}, \quad z_2 = \{y_2\}, \quad z_3 = \{y_3\}, \quad z_4 = \{y_4\}, \quad z_5 = \{y_5\}$
- 计算初始距离矩阵 $D (0)$ ：

降维后的样本矩阵为：

$[y_1, y_2, y_3, y_4, y_5] = \left[-\frac{\sqrt{2}}{2}, -\frac{\sqrt{2}}{2}, 0, \sqrt{2}, \sqrt{2}\right]$

计算步骤

定义距离公式：
对于两个样本 $y_i )$ 和 $y_j )$ ，它们之间的欧几里得距离为：

$D(y_i, y_j) = |y_i - y_j|$

计算每对样本之间的距离：
- $y_1 = -\frac{\sqrt{2}}{2} )$
- $y_2 = -\frac{\sqrt{2}}{2} )$
- $y_3 = 0 )$
- $y_4 = \sqrt{2} )$
- $y_5 = \sqrt{2} )$
计算结果如下：
$\begin{aligned} D(y_1, y_2) &= \left| -\frac{\sqrt{2}}{2} - \left(-\frac{\sqrt{2}}{2}\right) \right| = 0 \\ D(y_1, y_3) &= \left| -\frac{\sqrt{2}}{2} - 0 \right| = \frac{\sqrt{2}}{2} \\ D(y_1, y_4) &= \left| -\frac{\sqrt{2}}{2} - \sqrt{2} \right| = \frac{3\sqrt{2}}{2} \\ D(y_1, y_5) &= \left| -\frac{\sqrt{2}}{2} - \sqrt{2} \right| = \frac{3\sqrt{2}}{2} \\ D(y_2, y_3) &= \left| -\frac{\sqrt{2}}{2} - 0 \right| = \frac{\sqrt{2}}{2} \\ D(y_2, y_4) &= \left| -\frac{\sqrt{2}}{2} - \sqrt{2} \right| = \frac{3\sqrt{2}}{2} \\ D(y_2, y_5) &= \left| -\frac{\sqrt{2}}{2} - \sqrt{2} \right| = \frac{3\sqrt{2}}{2} \\ D(y_3, y_4) &= \left| 0 - \sqrt{2} \right| = \sqrt{2} \\ D(y_3, y_5) &= \left| 0 - \sqrt{2} \right| = \sqrt{2} \\ D(y_4, y_5) &= \left| \sqrt{2} - \sqrt{2} \right| = 0 \\ \end{aligned}$
构建距离矩阵 $D (0)$ ：
将上述计算结果填入矩阵中：
$\begin{pmatrix} 0 & 0 & \frac{\sqrt{2}}{2} & \frac{3\sqrt{2}}{2} & \frac{3\sqrt{2}}{2} \\ 0 & 0 & \frac{\sqrt{2}}{2} & \frac{3\sqrt{2}}{2} & \frac{3\sqrt{2}}{2} \\ \frac{\sqrt{2}}{2} & \frac{\sqrt{2}}{2} & 0 & \sqrt{2} & \sqrt{2} \\ \frac{3\sqrt{2}}{2} & \frac{3\sqrt{2}}{2} & \sqrt{2} & 0 & 0 \\ \frac{3\sqrt{2}}{2} & \frac{3\sqrt{2}}{2} & \sqrt{2} & 0 & 0 \end{pmatrix}$

简化后的 $D (0)$
$\begin{pmatrix} 0 & & & & \\ 0 & 0 & & & \\ \frac{\sqrt{2}}{2} & \frac{\sqrt{2}}{2} & 0 & & \\ \frac{3\sqrt{2}}{2} & \frac{3\sqrt{2}}{2} & \sqrt{2} & 0 & \\ \frac{3\sqrt{2}}{2} & \frac{3\sqrt{2}}{2} & \sqrt{2} & 0 & 0 \end{pmatrix}$
第一次合并：
- 可知 $z_1$ 与 $z_2$ 、 $z_4$ 与 $z_5$ 的距离最短。
- 将 $z_1$ 与 $z_2$ 合并为 $z_6 = \{y_1, y_2\}$ 。
- 将 $z_4$ 与 $z_5$ 合并为 $z_7 = \{y_4, y_5\}$ 。
第二次合并：
- 此时存在 3 个聚类： $z_3, z_6, z_7$ 。
- 计算新的距离矩阵 $D (1)$ ：
  $\begin{pmatrix} 0 & 0 & \\ \frac{\sqrt{2}}{2} & 0 & \\ \frac{3\sqrt{2}}{2} & \sqrt{2} & 0 \end{pmatrix}$
- 可知 $z_3$ 与 $z_6$ 的距离最短。
- 将 $z_3$ 与 $z_6$ 合并为 $z_8 = \{y_1, y_2, y_3\}$ 。
最终结果：
- 此时存在 2 个单类：
  $z_7 = \{y_4, y_5\}, \quad z_8 = \{y_1, y_2, y_3\}$
- 满足题意要求。