K-means聚类算法
K-means简介
K-means是无监督学习中的一种聚类算法,输入是无标签的数据集,输出的是k个不同的簇,以及数据集中每个测试样例的分类。聚类有时也被称为无监督分类。
优点:易于实现,适用范围广
缺点:可能收敛到局部最小值,在大规模数据集上收敛较慢K-means原理&算法
原理
这里给出K-means的目标函数,其中J是目标函数,数据为xi(i从1到m),聚簇中心为ui(i从1到k),ci等于离xi距离最近的聚簇中心的下标,也就是xi的分类。上式可见,有两组变量需要优化,一个是c,一个是u,K-means采用固定u,优化c,固定c优化u的方式,循环分开优化,直到收敛。通过这种方法优化c和u的时候,目标函数J只会减少,不会增加,所以出现J增加的时候有可能是代码出现了问题。
算法- 接受输入两个参数聚类的个数k,数据集x(x1,x2,…xm)
- 随机初始化k个聚簇中心,u1,u2,…uk
- 重复以下两个步骤,直到聚簇中心不发生变化
- 聚簇分配步骤,i从1到m,给xi标上标签,标签是离他们最近的某个聚簇中心uj
- 更新聚簇中心步骤,i从1到k,更新ui的坐标为所有被分到ui这个标签的数据的坐标均值
K-means优化
- 从x1~xm一共m个数据中选择k个作为聚簇的中心点,而不是随机生成k个
- 多次运行K-menas算法,由于每次初始化不同,而初始化又对收敛影响很大,所以能够选取一个较优的局部最优点甚至全局最优
K-means for non-separ