Python K均值聚类

Python K均值聚类是一种无监督的机器学习算法，能够实现自动归类的功能。

算法步骤如下：

（1）随机产生K个分类中心，一般称为质心。

（2）将所有样本划分到距离最近的质心代表的分类中。（距离可以是欧氏距离、曼哈顿距离、夹角余弦等）

（3）计算分类后的质心，可以用同一类中所有样本的平均属性来代表新的质心。

（4）重复（2）（3）两步，直到满足以下其中一个条件：

    1）分类结果没有发生改变。

    2）最小误差（如平方误差）达到所要求的范围。

    3）迭代总数达到设置的最大值。

常见的K均值聚类算法还有2分K均值聚类算法，其步骤如下：

（1）将所有样本作为一类。

（2）按照传统K均值聚类的方法将样本分为两类。

（3）对以上两类分别再分为两类，且分别计算两种情况下误差，仅保留误差更小的分类；即第（2）步产生的两类其中一类保留，另一类进行再次分类。

（4）重复对已有类别分别进行二分类，同理保留误差最小的分类，直到达到所需要的分类数目。

具体Python代码如下：

# -*- coding: utf-8 -*- """ Created on Tue Nov 08 14:01:44 2016 K - means cluster """ import numpy as np class KMeansClassifier():     "this is a k-means classifier"          def __init__(self, k=3, initCent='random', max_iter=500 ):                  self._k = k         self._initCent = initCent         self._max_iter = max_iter         self._clusterAssment = None         self._labels = None         self._sse = None              def _calEDist(self, arrA, arrB):         """         功能：欧拉距离距离计算         输入：两个一维数组         """         return np.math.sqrt(sum(np.power(arrA-arrB, 2)))          def _calMDist(self, arrA, arrB):         """         功能：曼哈顿距离距离计算         输入：两个一维数组         """         return sum(np.abs(arrA-arrB))     def _randCent(self, data_X, k):         """         功能：随机选取k个质心         输出：centroids #返回一个m*n的质心矩阵         """         n = data_X.shape[1] #获取特征的维数         centroids = np.empty((k,n))  #使用numpy生成一个k*n的矩阵，用于存储质心         for j in range(n):             minJ = min(data_X[:, j])             rangeJ  = float(max(data_X[:, j] - minJ))             #使用flatten拉平嵌套列表(nested list)             centroids[:, j] = (minJ + rangeJ * np.random.rand(k, 1)).flatten()         return centroids           def fit(self, data_X):         """         输入：一个m*n维的矩阵         """         if not isinstance(data_X, np.ndarray) or \                isinstance(data_X, np.matrixlib.defmatrix.matrix):             try:                 data_X = np.asarray(data_X)             except:                 raise TypeError("numpy.ndarray resuired for data_X")                          m = data_X.shape[0]  #获取样本的个数         #一个m*2的二维矩阵，矩阵第一列存储样本点所属的族的索引值，         #第二列存储该点与所属族的质心的平方误差         self._clusterAssment = np.zeros((m,2))                   if self._initCent == 'random':             self._centroids = self._randCent(data_X, self._k)                      clusterChanged = True         for _ in range(self._max_iter): #使用"_"主要是因为后面没有用到这个值             clusterChanged = False             for i in range(m):   #将每个样本点分配到离它最近的质心所属的族                 minDist = np.inf #首先将minDist置为一个无穷大的数                 minIndex = -1    #将最近质心的下标置为-1                 for j in range(self._k): #次迭代用于寻找最近的质心                     arrA = self._centroids[j,:]                     arrB = data_X[i,:]                     distJI = self._calEDist(arrA, arrB) #计算误差值                     if distJI <</span> minDist:                         minDist = distJI                         minIndex = j                 if self._clusterAssment[i,0] !=minIndex:                     clusterChanged = True                     self._clusterAssment[i,:] = minIndex, minDist**2             if not clusterChanged:#若所有样本点所属的族都不改变,则已收敛,结束迭代                 break             for i in range(self._k):#更新质心，将每个族中的点的均值作为质心                 index_all = self._clusterAssment[:,0] #取出样本所属簇的索引值                 value = np.nonzero(index_all==i) #取出所有属于第i个簇的索引值                 ptsInClust = data_X[value[0]]    #取出属于第i个簇的所有样本点                 self._centroids[i,:] = np.mean(ptsInClust, axis=0) #计算均值                  self._labels = self._clusterAssment[:,0]         self._sse = sum(self._clusterAssment[:,1])          def predict(self, X):#根据聚类结果，预测新输入数据所属的族         #类型检查         if not isinstance(X,np.ndarray):             try:                 X = np.asarray(X)             except:                 raise TypeError("numpy.ndarray required for X")                  m = X.shape[0]#m代表样本数量         preds = np.empty((m,))         for i in range(m):#将每个样本点分配到离它最近的质心所属的族             minDist = np.inf             for j in range(self._k):                 distJI = self._calEDist(self._centroids[j,:], X[i,:])                 if distJI <</span> minDist:                     minDist = distJI                     preds[i] = j         return preds          class biKMeansClassifier():     "this is a binary k-means classifier"          def __init__(self, k=3):                  self._k = k         self._centroids = None         self._clusterAssment = None         self._labels = None         self._sse = None                   def _calEDist(self, arrA, arrB):         """         功能：欧拉距离距离计算         输入：两个一维数组         """         return np.math.sqrt(sum(np.power(arrA-arrB, 2)))              def fit(self, X):         m = X.shape[0]         self._clusterAssment = np.zeros((m,2))         centroid0 = np.mean(X, axis=0).tolist()         centList =[centroid0]         for j in range(m):#计算每个样本点与质心之间初始的平方误差             self._clusterAssment[j,1] = self._calEDist(np.asarray(centroid0), \                                         X[j,:])**2                  while (len(centList) <</span> self._k):             lowestSSE = np.inf             #尝试划分每一族,选取使得误差最小的那个族进行划分             for i in range(len(centList)):                 index_all = self._clusterAssment[:,0] #取出样本所属簇的索引值                 value = np.nonzero(index_all==i) #取出所有属于第i个簇的索引值                 ptsInCurrCluster = X[value[0],:] #取出属于第i个簇的所有样本点                 clf = KMeansClassifier(k=2)                 clf.fit(ptsInCurrCluster)                 #划分该族后，所得到的质心、分配结果及误差矩阵                 centroidMat, splitClustAss = clf._centroids, clf._clusterAssment                 sseSplit = sum(splitClustAss[:,1])                 index_all = self._clusterAssment[:,0]                  value = np.nonzero(index_all==i)                 sseNotSplit = sum(self._clusterAssment[value[0],1])                 if (sseSplit + sseNotSplit) <</span> lowestSSE:                     bestCentToSplit = i                     bestNewCents = centroidMat                     bestClustAss = splitClustAss.copy()                     lowestSSE = sseSplit + sseNotSplit             #该族被划分成两个子族后,其中一个子族的索引变为原族的索引             #另一个子族的索引变为len(centList),然后存入centList             bestClustAss[np.nonzero(bestClustAss[:,0]==1)[0],0]=len(centList)             bestClustAss[np.nonzero(bestClustAss[:,0]==0)[0],0]=bestCentToSplit             centList[bestCentToSplit] = bestNewCents[0,:].tolist()             centList.append(bestNewCents[1,:].tolist())             self._clusterAssment[np.nonzero(self._clusterAssment[:,0] == \                                         bestCentToSplit)[0],:]= bestClustAss                              self._labels = self._clusterAssment[:,0]          self._sse = sum(self._clusterAssment[:,1])         self._centroids = np.asarray(centList)                                      def predict(self, X):#根据聚类结果，预测新输入数据所属的族         #类型检查         if not isinstance(X,np.ndarray):             try:                 X = np.asarray(X)             except:                 raise TypeError("numpy.ndarray required for X")                  m = X.shape[0]#m代表样本数量         preds = np.empty((m,))         for i in range(m):#将每个样本点分配到离它最近的质心所属的族             minDist = np.inf             for j in range(self._k):                 distJI = self._calEDist(self._centroids[j,:],X[i,:])                 if distJI <</span> minDist:                     minDist = distJI                     preds[i] = j         return preds