K-means聚类算法

K-means聚类算法

• K-means简介

  K-means是无监督学习中的一种聚类算法，输入是无标签的数据集，输出的是k个不同的簇，以及数据集中每个测试样例的分类。聚类有时也被称为无监督分类。
  优点：易于实现，适用范围广
  缺点：可能收敛到局部最小值，在大规模数据集上收敛较慢

• K-means原理&算法
  原理
  　　
  这里给出K-means的目标函数，其中J是目标函数，数据为xi（i从1到m），聚簇中心为ui（i从1到k），ci等于离xi距离最近的聚簇中心的下标，也就是xi的分类。上式可见，有两组变量需要优化，一个是c，一个是u，K-means采用固定u，优化c，固定c优化u的方式，循环分开优化，直到收敛。通过这种方法优化c和u的时候，目标函数J只会减少，不会增加，所以出现J增加的时候有可能是代码出现了问题。
  算法

  1. 接受输入两个参数聚类的个数k，数据集x(x1，x2，…xm)
  2. 随机初始化k个聚簇中心，u1，u2，…uk
  3. 重复以下两个步骤，直到聚簇中心不发生变化
  4. 聚簇分配步骤，i从1到m，给xi标上标签，标签是离他们最近的某个聚簇中心uj
  5. 更新聚簇中心步骤，i从1到k，更新ui的坐标为所有被分到ui这个标签的数据的坐标均值

• K-means优化

  1. 从x1～xm一共m个数据中选择k个作为聚簇的中心点，而不是随机生成k个
  2. 多次运行K-menas算法，由于每次初始化不同，而初始化又对收敛影响很大，所以能够选取一个较优的局部最优点甚至全局最优

• K-means for non-separ