聚类分析|距离与相似系数|层次聚类|K均值聚类|SPSS及Matlab

聚类分析问题描述

聚类分析问题描述

人类认识世界的方法之一就是将事物按照各种属性或特征分成若干类别。
物以类聚、人以群分。分类方法多种多样，简单直接的如高、矮、胖瘦。使用的信息量小，但对类别界限附近的案例，分类结果不一定合适。
为了满足更高的分类要求，对研究对象需用更多的特征变量来刻画。如要想把中国的县分类，就有多种方法，可以按照自然条件来分，比如考虑降水、土地、日照、湿度等，也可考虑收入、教育水准、医疗条件、基础设施等指标；既可以用某一项来分类，也可以同时考虑多项指标来分类。

引例：20种啤酒的热量、钠含量、酒精及价格四种变量。如何找到数据中隐藏的模式特征？

整理好的数据具有如下结构：

$x_i$是特征变量，可能是分类变量（如民族、性别），也可能是数值变量（如
身高体重），单位量纲也不相同。每个对象用一个p维特征向量来刻画。
任意两各随机变量
$$X=(x_1,x_2,\dots ,x_n{)}^T,Y=(y_1,y_2,\dots ,y_n{)}^T$$
的协方差
$$cov(X,Y)=\frac{1}{n}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})$$
P维特征向量$(X_1,X_2,\dots ,X_p)$的协方差矩阵
$$\sum =\left(\begin{array}{ccccccc}v(x_1)& & c(X_1,X_2)& & \dots & & c(X_1,X_p)\\ c(X_1,X_2)& & v(X_2)& & \dots & & c(X_2,X_p)\\ \dots & & \dots & & \dots & & \dots \\ c(X,X_p& & c(X_2,X_p)& & \dots & & v(X_p)\end{array}\right)$$
聚类分析（clusteranalysis）就是基于数据自身信息来对数据进行分类的方法（也称为无监督学习）。
在聚类分析之前，研究者不知道观察对象可以分成多少个类，类的特点也无所得知。在分类的过程中，聚类分析能够从样本数据出发，自动进行分类。
不同研究者对于同一组数据进行聚类分析，所得到的聚类结果未必一致，因此聚类分析是一种探索性的分析方法。

聚类分析的数学描述

假设
$$X_i=(x_{i1},x_{}$$