K-means 有一个著名的解释：牧师—村民模型

有四个牧师去郊区布道，一开始牧师们随意选了几个布道点，并且把这几个布道点的情况公告给了郊区所有的村民，于是每个村民到离自己家最近的布道点去听课。
听课之后，大家觉得距离太远了，于是每个牧师统计了一下自己的课上所有的村民的地址，搬到了所有地址的中心地带，并且在海报上更新了自己的布道点的位置。
牧师每一次移动不可能离所有人都更近，有的人发现A牧师移动以后自己还不如去B牧师处听课更近，于是每个村民又去了离自己最近的布道点……
就这样，牧师每个礼拜更新自己的位置，村民根据自己的情况选择布道点，最终稳定了下来。

K-means无法将两个均值相同（聚类中心点相同）的类进行聚类，而高斯混合模型（Gaussian Mixture Model, GMM）就是为了解决这一缺点而提出的。GMM是通过选择成分最大化后验概率来完成聚类的，各数据点的后验概率表示属于各类的可能性，而不是判定它完全属于某个类，所以称为软聚类。其在各类尺寸不同、聚类间有相关关系的时候可能比k-means聚类更合适。