weixin_40809627的博客

1、kmean 背景Spark的MLlib库提供了许多可用的聚类方法的实现，如 KMeans、高斯混合模型、Power Iteration Clustering（PIC）、隐狄利克雷分布（LDA） 以及 KMeans 方法的变种 二分KMeans（Bisecting KMeans） 和 流式KMeans（Streaming KMeans）等。...

LDA是一个三层贝叶斯概率模型，包含词、主题和文档三层结构。LDA可以用来生成一篇文档，生成时，每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”，这样反复进行，就可以生成一篇文档；反过来，LDA又是一种非监督机器学习技术，可以识别出大规模文档集或语料库中的主题。参考：http://bigdata-star.com/archives/1863...