一个有点意思的问题，如何快速收敛超大的KMeans

被一个牛人问道了这个问题：超亿个节点，进行KMeans的聚类，每次迭代都要进行K×亿的运算，如何能让这个迭代快速的收敛？

当场晕倒，从来没有考虑过这些问题，基础的数据挖据算法不考虑超大级别的运算问题。

回来想了想，再看看Mahout的KMeans的实现方法，觉得可以这么解决.

1. 第一次迭代的时候，正常进行，选取K个初始点，然后计算所有节点到这些K的距离，再分到不同的组，计算新的质心；

2. 后续迭代的时候，在第m次开始，每次不再计算每个点到所有K个质心的距离，仅仅计算上一次迭代中离这个节点最近的某几个（2到3）个质心的距离，决定分组的归属。对于其他的质心，因为距离实在太远，所以归属到那些组的可能性会非常非常小，所以不用再重复计算距离了。

3. 最后，还是用正常的迭代终止方法，结束迭代。

这个方法中，有几个地方需要仔细定义的。

第一，如何选择m次？ 过早的话，后面的那个归属到远距离组的可能性会增加；过晚，则收敛的速度不够。

第二，如何选择最后要比较的那几个质心点数？数量过多则收敛的速度提高不明显，过少则还是有可能出现分组错误。

这两个问题应该都没有标准答案，就如同K值的选取。我自己思考的基本思路可以是:

1. 从第三次开始就开始比较每次每个质心的偏移量，亦即对于收敛的结束的标准可以划分两个阈值，接近优化的阈值（比如偏移范围在20%）和结束收敛的阈值（比如偏移范围在10%以内）。m次的选择可以从达到接近优化的阈值开始。

2. 选择比较的质心点数可以设定一个阈值，比较一个点到K个质心的距离，排序这些距离，或者固定选取一个数值，比如3个最近的点，或者按最近的20%那些质心点。

这些就是基本的思路。欢迎大家讨论。