43、大数据聚类与分类框架及云服务聚合方法

大数据聚类与分类框架及云服务聚合方法

大数据聚类与分类框架

在大数据分析中，数据挖掘算法由于处理成本高且常需执行迭代算法，显得尤为重要。Spark 作为一个能高效支持大规模数据迭代算法的框架，为大数据分析提供了有力支持。下面将介绍基于 Spark 的大数据聚类与分类框架，主要涉及 k-means 和 ID3 算法。

算法原理

• ID3 算法示例 ：在 ID3 算法里，对于节点，会将分类类别分配给最常见的分类值。后续迭代时，从队列中移除一个节点，然后执行与首次迭代相同的操作。当所有节点都处理完毕且队列为空时，主节点返回决策树的根节点。
• 严格受限数据交换算法（SRID3） ：PRID3 算法符合部分受限数据交换模型，因为它仅交换聚合数据，但违反了严格受限数据交换模型。在 PRID3 中，各属性值的出现次数是分布式计算的，先在本地计算出现次数，然后在工作节点间进行数据混洗，以计算总出现次数（使用 Spark 的 reduceByKey() 操作）。然而，严格受限数据交换模型不允许工作节点间进行数据混洗。因此，主节点从每个工作节点收集本地出现次数，在本地计算全局出现次数以及每个属性值的熵，然后找出全局熵最低的属性。该算法的其余部分与 PRID3 算法类似。

实验数据集

为评估 k-means 和 ID3 算法的性能，使用了不同的数据集，具体如下：
| 算法 | 数据集 | 维度(d) | 实例数量(|S|) | 大小 | 分类值数量 |
| — | — | — | — | — | — |