5、神经网络权重选择与训练全解析

神经网络权重选择与训练全解析

1. 学习方案分类

通过训练神经网络（NN）来更新权重，这就是神经网络的学习特性。学习算法可以采用连续时间形式（通过权重的微分方程），也可以采用离散形式（通过权重的差分方程）。学习算法主要分为以下三类：
- 监督学习 ：训练所需的所有信息都是预先已知的，例如输入 (x) 和期望输出 (y)。这些全局信息保持不变，用于计算误差以更新权重。可以想象有一个“老师”，它知道期望的结果并相应地调整权重。
- 无监督学习 ：也称为自组织行为，神经网络的期望输出是未知的，因此没有掌握全局信息的“老师”。它会检查和组织局部数据，依据涌现的集体属性进行处理。
- 强化学习 ：与特定神经元相关的权重不是与该神经元的输出误差成比例地改变，而是与某种全局强化信号成比例地改变。

2. 学习阶段与运行阶段

神经网络存在学习阶段和运行阶段的区别：
- 学习阶段 ：通常通过训练来选择神经网络的权重。在这个阶段，常使用规定的示例输入和输出为神经网络选择权重。
- 运行阶段 ：权重通常保持不变，向神经网络输入数据，使其执行设计的功能。在运行阶段，输入数据可能不属于示例训练集，但神经网络能够根据某种指定的范数，为输入提供与最接近示例对应的输出。例如，一个有噪声的“A”仍会被分类为“A”。这种处理不一定在示例集中的输入并提供有意义输出的能力，被称为神经网络的泛化特性，它与联想记忆的特性密切相关，即相近的输入应产生相近的输出。

3