44、基于MapReduce的可扩展集群环境增长神经气算法

基于MapReduce的可扩展集群环境增长神经气算法

1. 引言

如今，数据量飞速增长，这就需要可扩展的集群系统来存储、管理和分析数据。像Apache Hadoop这样的集群环境，提供了分布式文件系统的实现，满足了存储和管理数据的前两个需求。而要在任意数量的机器上并行分析分布式数据集，则需要并行计算模型，例如MapReduce模型。除了集群存储环境的实现，像Apache Spark这样更专业的系统则专注于数据分析，并为这些计算模型提供了更高效的解决方案。

并行计算模型可应用于数据库知识发现（KDD），这是一个准备和处理数据以获取信息的过程。KDD常用于数据挖掘，其中通常包括对数据集的聚类分析。如果使用神经网络进行聚类分析，训练这些网络会花费大量时间，而且随着数据规模的增大，训练时间会增加，并且与网络质量要求成正比。因此，如果由于数据集的规模等原因需要分布式数据管理，那么分布式知识发现也变得必不可少。

这里介绍一种基于MapReduce的增长神经气（GNG）算法变体，即MapReduce GNG算法，讨论其运行时行为，并考虑该算法的可扩展性。GNG通过“竞争性Hebbian学习”创建一个神经网络，以拓扑方式表示数据集。在这个模型中，神经元的数量不是固定的，而是有一个上限。学习阶段结束后，通过神经网络图表示中的连通组件形成聚类。这种聚类特性已经在数据库索引结构ICIx中得到应用。基于MapReduce的训练方法将使ICIx适用于分布式数据集。

2. 相关工作

2.1 GNG并行化

• Adam等人的方法 ：Adam等人提出了两种不同的GNG并行化方法。一种是数据并行方法