人工神经网络中的竞争学习与相关模型解析
在人工神经网络(ANNs)领域,竞争学习是一种重要的无监督学习方式,它在数据处理和模型构建中发挥着关键作用。下面将详细介绍几种基于竞争学习的模型及其特点。
自组织映射(SOM)
SOM在训练过程中,学习率 $\alpha(t)$ 和邻域半径 $\sigma(t)$ 会单调递减,学习率最终降为零,邻域半径则降至一个合适的非零值,通常为 1。为避免地图中出现神经元未对任何数据做出反应的空白区域,可以采取额外步骤:在少量更新次数(如 10% 的迭代)中,使用随机选择的神经元的权重作为输入,强化这些神经元的邻域学习。
训练过程中,SOM 会将输入空间映射到晶格 U 上,尽可能保留输入空间的拓扑关系。在更新时考虑最佳匹配单元(BMU)及其相邻神经元,附近的神经元会逐渐专门化以表示相似的输入,数据在地图晶格上形成拓扑有序排列,这是 SOM 算法的主要特征之一。
视觉诱导自组织映射(ViSOM)
SOM 采用邻域学习来保留地图中神经元的拓扑顺序,可用于展示数据点之间的相对关系,但它不能直接显示地图上神经元之间的距离,需要借助着色方案来可视化神经元间的距离,从而标记出聚类和边界。
为了让地图自然直接地捕捉数据结构,除了拓扑结构,还需保留距离信息。理想情况下,节点应均匀平滑地分布在数据空间的非线性流形中,任意两个最近邻神经元的距离应大致相同,神经元与其最远邻神经元的距离应根据地图网格结构成比例且规则地增加。这样,神经元的位置可作为衡量任何映射点距离的等级,地图将呈现为嵌入数据空间的平滑、分级网格,数据点映射其上,点间距离大致得以保留。
ViSOM 与 SOM 类似,以无监督方
超级会员免费看
订阅专栏 解锁全文
1511

被折叠的 条评论
为什么被折叠?



