K-Means Using Python

原文来自我的个人博客：http://www.yuanyong.org/blog/python/k-means-using-python

最近在翻译《Programming Computer Vision with Python》第六章Clustering Images，其中用到了k-means，这里根据书中给出的实例对k-means python code做一些解释。关于k-means聚类算法的原理，这里不再赘述，原理可以查阅相关资料。

在给出完整代码之前，我们先来理解两个numpy、scipy两个模块中设计到的两个函数，分别对应的是numpy.vstack()和scipy.cluster.vq()。我们直接看这两个函数的例子：

Example for numpy.vstack()

1	>>> a = np.array([1, 2, 3])

2	>>> b = np.array([2, 3, 4])

3	>>> np.vstack((a,b))

输出结果为：

array([[1, 2, 3], [2, 3, 4]])

从这个简单的例子可以看出，np.vstack()这个函数实现connection的作用，即connection(a,b)，为了看得更清楚，我们再来看一个这个函数的例子：

1	>>> a = np.array([[1], [2], [3]])

2	>>> b = np.array([[2], [3], [4]])

3	>>> np.vstack((a,b)）

输出结果这里不给出了，具体可以再python shell上test。好了，现在我们了解了这个函数的作用，我们再来看scipy.cluster.vq()函数的作用，这里也直接给出实例，通过实例解释该函数的作用：

Example for scipy.cluster.vq()

1	>>> from numpy import array

2	>>> from scipy.cluster.vq import vq

3	>>> code_book = array([[1.,1.,1.],[2.,2.,2.]])

4	>>> features  = array([[  1.9,2.3,1.7],[  1.5,2.5,2.2],[  0.8,0.6,1.7]])

5	>>> vq(features,code_book)

输出结果为：

(array([1, 1, 0]), array([ 0.43588989,  0.73484692,  0.83066239]))，下图解释了该结果的意义，array([1, 1, 0])中的元素表示features中的数据点对应于code_book中离它最近距离的索引，如数据点[1.9, 2.3, 1.7]离code_book中的[2., 2., 2.]最近，该数据点对的对应于code_book中离它最近距离的索引为1，在python中索引值时从0开始的。

当然，对于上面的结果可以用linalg.norm()函数进行验证，验证过程为：

1	>>> from numpy import array

2	>>> from scipy.cluster.vq import vq

3	>>> code_book = array([[1.,1.,1.],[2.,2.,2.]])

4	>>> features  = array([[  1.9,2.3,1.7],[  1.5,2.5,2.2],[  0.8,0.6,1.7]])

5	>>> vq(features,code_book)

6	>>> from numpy import *

7	dist = linalg.norm(code_book[1,:] - features[0,:])

输出的dist的结果为：dist: 0.43588989435406728

好了，了解完这两个函数，我们可以上完整了演示k-means完整的代码了。

1

"""

2	Function: Illustrate the k-means

3	Date: 2013-10-27

4

""""

5	from pylab import *

6	from scipy.cluster.vq import *

7

8	class1 = 1.5 * randn(100,2)

9	class2 = randn(100,2) + array([5,5])

10	features = vstack((class1,class2))

11	centroids,variance = kmeans(features,2)

12	code,distance = vq(features,centroids)

13

figure()

14	ndx = where(code==0)[0]

15	plot(features[ndx,0],features[ndx,1],'*')

16	ndx = where(code==1)[0]

17	plot(features[ndx,0],features[ndx,1],'r.')

18	plot(centroids[:,0],centroids[:,1],'go')

19	axis('off')

20

show()

上述代码中先随机生成两类数据，每一类数据是一个100*2的矩阵，centroids是聚类中心，这里聚类中心k=2，并将其作为code_book代用vq()，代码运行结果如下：

上图显示了原数据聚完类后的结果，绿色圆点表示聚类中心。

Hello Python. Enjoy yourself.

Reference:

[1]. http://docs.scipy.org/doc/scipy/reference/generated/scipy.cluster.vq.vq.html#scipy.cluster.vq.vq

[2]. http://docs.scipy.org/doc/numpy/reference/generated/numpy.vstack.html