K-Means

K-均值聚类算法
    优点：容易实现，不足之处可能收敛到局部最小值，在大规模数据集上收敛较慢，适用于数值型数据。工作流程如下：
 创建k个点作为起始质心（经常是随机选择）
当任意一个点的簇分配结果发生改变时
    对数据集中的每个数据点
        对每个质心
              计算质心与数据点之间的距离
        将数据点分配到距其最近的簇

    对每一个簇，计算簇中所有点的均值并将均值作为质心

#-*- coding:utf-8 -*-
from numpy import *
def loadDataSet(fileName):
    dataMat=[]
    fr=open(fileName)
    for line in fr.readlines():
        curLine=line.strip().split('\t')
        fitLine=map(float,curLine)
        dataMat.append(fitLine)
    return dataMat
#计算两个向量的欧氏距离
def distEclud(vecA,vecB):
    return sqrt(sum(power(vecA-vecB,2)))
#给定数据集构建一个包含k个随机质心的集合
def randCent(dataSet,k):
    n=shape(dataSet)[1]
    centroids=mat(zeros((k,n)))
    #随机质心必须要在整个数据集的边界之内，通过找到每一维最小和最大值完成
    for j in range(n):
        minJ=min(dataSet[:,j])
        rangeJ=float(max(dataSet[:,j])-minJ)
        centroids[:,j]=minJ+rangeJ*random.rand(k,1)#生成0到1.0之间的随机数并通过取值范围和最小值确保随机点在数据边界之内
    return centroids

>>> import kmeans
>>> from numpy import *
>>> datMat=mat(kmeans.loadDataSet('E:/code/testSet.txt'))
>>> min(datMat[:,0])
matrix([[-5.379713]])
>>> min(datMat[:,1])
matrix([[-4.232586]])
>>> max(datMat[:,1])
matrix([[ 5.1904]])
>>> max(datMat[:,0])
matrix([[ 4.838138]])

>>> kmeans.randCent(datMat,2)
matrix([[ 1.58043495, -1.31447897],
        [ 1.70103927,  4.95529564]])

测试一下距离的计算方法：

>>> kmeans.distEclud(datMat[0],datMat[1])
5.184632816681332

    所支持的函数正常运行，准备实现K均值算法。创建k个质心，然后将每个点分配到最近的质心，在重新计算质心。重复数次，直到数据点的簇分配结果不会改变为止。

#数据集及簇的数目是必选参数，计算距离和创建初始质心的函数可选
def keans(dataSet,k,distMeas=distEclud,createCent=randCent):
    m=shape(dataSet)[0]#创建一个矩阵来存储每个点的簇分配结果
    clusterAssment=mat(zeros((m,2)))#一列记录簇索引值，一列存储误差
    centroids=createCent(dataSet,k)
    clusterChanged=True#标识变量，true则继续迭代
    #遍历所有数据找到距离每个点最近的质心，对每个点遍历所有质心并计算每个质心的距离来完成
    while clusterChanged:
        clusterChanged=False
        for i in range(m):
            minDist=inf;minIndex=-1
            for j in range(k):
                distJI=distMeas(centroids[j,:],dataSet[i,:])
                if distJI<minDist:
                    minDist=distJI;minIndex=j
            if clusterAssment[i,0]!=minIndex:clusterChanged=True
            clusterAssment[i,:]=minIndex,minDist**2
        print centroids
        #遍历并更新取值，通过数组过滤来获得给定簇的所有点，计算均值，axis=0表示沿矩阵列的方向进行均值计算
        for cent in range(k):
            ptsInClust=dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]
            centroids[cent,:]=mean(ptsInClust,axis=0)
    return centroids,clusterAssment

>>> reload(kmeans)
<module 'kmeans' from 'E:\python\kmeans.py'>
>>> datMat=mat(kmeans.loadDataSet('E:/code/testSet.txt'))
>>> myCenttroids,clustAssing=kmeans.keans(datMat,4)
[[-2.70314932  2.01452543]
 [ 0.89843689  2.61822779]
 [ 1.18644542 -3.90997013]
 [ 3.1300084  -2.7441036 ]]
[[-3.07195136  0.92565029]
 [ 2.24547378  2.92273278]
 [-2.00155638 -3.472942  ]
 [ 3.25624481 -2.728045  ]]
[[-2.54951105  2.75812458]
 [ 2.46383071  3.1198451 ]
 [-3.19984738 -2.96423548]
 [ 2.926737   -2.70147753]]
[[-2.46154315  2.78737555]
 [ 2.6265299   3.10868015]
 [-3.38237045 -2.9473363 ]
 [ 2.80293085 -2.7315146 ]]

二分K-均值算法：

 将所有点看成一个簇

当簇数目小于k时

    对于每一个簇

        计算总误差

        在给定的簇上面进行K-均值聚类（k=2）

         计算将该簇一分为二之后的总误差

    选择使得误差最小的那个簇进行划分操作

def biKmeans(dataSet,k,distMeas=distEclud):
    m=shape(dataSet)[0]
    clusterAssment=mat(zeros((m,2)))
    #创建一个初始簇,存储数据集中每个点的簇分配结果集平方误差
    centroid0=mean(dataSet,axis=0).tolist()[0]
    centList=[centroid0]
    #计算质心并保存，可以遍历数据集中所有点来计算每个点到质心的误差值
    for j in range(m):
        clusterAssment[j,1]=distMeas(mat(centroid0),dataSet[j,:])**2
    while (len(centList)<k):
        lowestSSE=inf#将最小SSE设置为无穷大
        #尝试划分每一簇
        for i in range(len(centList)):
            ptsInCurrCluster=dataSet[nonzero(clusterAssment[:,0].A!=i)[0],:]#小数据集
            centroidMat,splitClustAss=kMeans(ptsInCurrCluster,2,distMeas)#k-均值算法会生成两个质心，同时给出误差值
            sseSplit=sum(splitClustAss[:,1])
            sseNotSplit=sum(clusterAssment[nonzero(clusterAssment[:,0].A!=i)[0],1])
            print "sseSplit,and not Split:",sseSplit,sseNotSplit
            if(sseSplit+sseNotSplit)<lowestSSE:
                bestCentToSplit=i
                bestNewCents=centroidMat
                bestClustAss=splitClustAss.copy()
                lowestSSE=sseSplit+sseNotSplit#将误差与剩余数据集误差之之和作为划分的误差
        bestClustAss[nonzero(bestClustAss[:,0].A==1)[0],0]=len(centList)
        bestClustAss[nonzero(bestClustAss[:,0].A==0)[0],0]=bestCentToSplit
        print'the bestCentToSplit is :',bestCentToSplit
        print'the len of bestClustAss is:',len(bestClustAss)
        centList[bestCentToSplit]=bestNewCents[0,:]#新的簇结果被更新
        centList.append(bestNewCents[1,:])
        clusterAssment[nonzero(clusterAssment[:,0].A==bestCentToSplit)[0],:]=bestClustAss
    return mat(centList),clusterAssment

>>> reload(kmeans)
<module 'kmeans' from 'E:\python\kmeans.py'>
>>> datMat3=mat(kmeans.loadDataSet('E:/code/testSet2.txt'))
>>> centList,myNewAssments=kmeans.biKmeans(datMat3,3)
[]

Traceback (most recent call last):
  File "<pyshell#40>", line 1, in <module>
    centList,myNewAssments=kmeans.biKmeans(datMat3,3)
  File "E:\python\kmeans.py", line 65, in biKmeans
    centroidMat,splitClustAss=kMeans(ptsInCurrCluster,2,distMeas)#k-均值算法会生成两个质心，同时给出误差值
  File "E:\python\kmeans.py", line 31, in kMeans
    centroids=createCent(dataSet,k)
  File "E:\python\kmeans.py", line 24, in randCent
    rangeJ=float(max(dataSet[:,j])-minJ)
ValueError: max() arg is an empty sequence

为什么出错呢？试了好几种方法，求大神指点，多谢！