10、人工神经网络学习模型分类解析

人工神经网络学习模型分类解析

在人工神经网络（ANN）的学习过程中，系统通过观察问题空间 Z 中的事件 $z_1$，$z_2$，$z_3$ 等，优化其结构 S 和功能 F，以提升对事件的反应能力并捕捉有用信息，这些信息可转化为知识。学习系统的目标是找到目标函数 J(S)（即“期望风险函数”）的最小值，该函数可由损失函数 Q(Z,S) 和未知概率分布 $P(Z)$ 表示。

学习系统的分类依据

为了更好地理解和应用 ANN，我们需要对其学习模型进行分类。以下是一些关键的分类问题及相应的解决方案：
1. 学习系统的发展空间
- 原始问题空间 Z ：连接主义学习系统的结构元素（节点）是 d 维原始数据空间 Z 中的点。例如，某些聚类和原型学习系统就属于这种情况。但当原始空间维度较高时，可视化系统结构和观察重要模式会变得困难，此时可使用主成分分析（PCA）或 Sammon 映射等特殊可视化技术将系统结构 S 投影到可视化空间 V 中。
- 自身机器空间 M ：连接主义学习系统的结构元素在与原始数据空间 Z 不同的系统（机器）空间 M 中创建。例如，自组织映射（SOM）神经网络就是在二维、三维或更高维的拓扑空间（地图）中从原始数据发展而来的。
2. 问题空间是否开放
- 开放问题空间 ：其特点是输入数据的概率分布 $P(Z)$ 未知，且数据空间的维度可能随时间变化。例如，在人员识别系统中添加新的模态信息。
- 封闭问题空间 ：具