5、神经网络权重选择与训练全解析

神经网络权重选择与训练全解析

1. 学习方案分类

神经网络（NN）通过训练更新权重的特性被称为学习特性。学习算法可分为连续时间和离散形式两种。连续时间算法通过权重的微分方程实现，离散形式则借助权重的差分方程。学习算法主要分为以下三类：
- 监督学习 ：训练所需的所有信息预先已知，例如输入 $x$ 和期望输出 $y$。这些全局信息保持不变，用于计算误差以更新权重，就像有一个“教师”知道期望结果并相应调整权重。
- 无监督学习 ：也称为自组织行为，NN 的期望输出未知，没有掌握全局信息的“教师”。它通过检查和组织局部数据，依据涌现的集体属性进行学习。
- 强化学习 ：特定神经元的权重并非与该神经元的输出误差成比例变化，而是与某种全局强化信号成比例调整。

2. 学习与运行阶段

神经网络存在学习阶段和运行阶段。
- 学习阶段 ：通常通过训练选择 NN 的权重，常使用规定的示例输入和输出。
- 运行阶段 ：权重一般保持不变，向 NN 提供输入以执行其设计功能。在运行阶段，输入可能不属于训练示例集，但 NN 具有泛化能力，能够处理不在示例集中的输入并提供有意义的输出，这与联想记忆的特性密切相关，即相近的输入应产生相近的输出。

3. 离线学习与在线学习

学习方式可分为离线学习和在线学习：
- 离线学习 ：初步学习阶段在 NN 投入运行能力之前进行，运行期间权重保持