6、神经网络统计学习方法解析

神经网络统计学习方法解析

一、神经网络研究背景与发展

早期关于自适应学习的研究衍生出了两大思想流派。一派以冯·诺伊曼、图灵等为代表，采用符号方法，是现代计算机概念（如内存、处理器）和“传统”人工智能的起源；另一派以麦卡洛克、皮茨、明斯基等为代表，采用“连接主义”方法，更贴近生物描述（神经拟态）。20世纪80年代，传统人工智能面临困境时，连接主义方法迎来复兴，取得了显著成果，并催生了诸多先进的实际应用，如形式和书写识别、语音合成、时间序列预测、医疗诊断辅助等，但对这些非线性模型的数学分析仍十分复杂。

神经网络从理论和应用角度来看都是一个广阔的研究领域。本文重点关注分层网络和著名的梯度反向传播算法，它们在监督学习中有着有趣的应用，并且是更简单、更传统统计模型（线性和逻辑回归）的补充方法。近年来，人们对这些方法重新产生兴趣，并开发出了更高效的学习方法，深度学习尤其正在革新人工智能领域。此外，Kohonen算法和支持向量机（SVM）方法也源于神经建模，例如SVM的发展最初受到了罗森布拉特1962年关于感知机工作的影响。

二、从真实神经元到形式神经元

2.1 真实神经元的工作原理

真实神经元的工作方式非常简化地概括为：通过树突和突触对与其相连的神经元发出的神经冲动（抑制或兴奋）进行加权求和；若输入求和超过激活阈值，则在轴突中发射电流。

2.2 麦卡洛克和皮茨的形式神经元

1943年，麦卡洛克和皮茨构建了神经计算基本单元的首个神经拟态模型。对于输入 $x \in \mathbb{R}^p$，突触权重单元 $w \in \mathbb{R}^p$ 和激活阈值 $\theta \in \mathbb{R}