8、神经网络学习算法：从感知机到多层网络

神经网络学习算法：从感知机到多层网络

1. 感知机学习回顾

感知机学习算法在某些情况下未能收敛，经过固定次数的迭代后停止。这表明部分样本与其他样本并非线性可分，为识别此类模式，需像处理异或问题一样，组合多个神经元。

感知机比简单的与非门更强大，它能处理实值输入，并可通过训练算法改变其行为。从数学角度看，对于给定长度的两个向量，当它们的夹角为 0 时，点积最大。因此，权重向量模拟输入模式是合理的。

感知机作为模式（特征）识别器的实验结束，但这些模式识别器将作为构建模块，用于更高级的图像分析。

梯度下降学习的总结：聚焦于单个感知机，详细探讨了感知机学习算法的工作原理，包括直观和数学层面。同时，介绍了如何使用梯度下降最小化函数，并探索了感知机作为模式检测器的应用。现在，是时候将焦点从单个感知机转移到多层网络了。

2. 反向传播算法基础

2.1 反向传播算法概述

反向传播算法是神经网络基本学习算法，几乎所有神经网络学习算法都是其变体。该算法于 20 世纪 80 年代中期引入，是深度学习发展的重要一步。即便对许多深度学习从业者来说，它也有些神秘，因为很多细节隐藏在现代深度学习框架中。但了解其基本原理至关重要。

算法的三个主要步骤如下：
1. 向神经网络提供一个或多个训练示例。
2. 将神经网络的输出与期望值进行比较。
3. 调整权重，使输出更接近期望值。

这与感知机学习算法类似，同样使用梯度下降来确定权重调整量。对于单个感知机，计算偏导数很简单，但对于每层有多个神经元的多层网络，情况就复杂了，而反向传播算法能有效解决这一问题。