17、人工神经网络：从学习到应用的发展历程

人工神经网络：从学习到应用的发展历程

1. 人工神经网络的学习机制

自20世纪80年代初人工神经网络或神经信息处理领域创立以来，众多科学家不断探索相关理念。过去40年，该研究领域已成为计算机科学的重要组成部分，常与人工智能和数据分析归为一类。

从计算机科学角度看，神经网络可视为由大量可调节参数的简单自动机组成的网络，这些参数主要描述它们之间的互连关系。学习问题可看作是优化这些参数以实现网络期望行为的过程。例如在模式识别中，神经网络会接收大量输入向量，并为其分配分类输出标签。

学习问题可分为以下几类：
1. 监督学习 ：每个数据向量都由“教师”提供正确标签。
2. 无监督学习 ：数据向量没有标签，网络需自行找到合理类别。
3. 半监督学习 ：仅部分数据向量有标签，或标签可能部分错误。
4. 强化学习 ：教师仅对网络性能进行评估，告知好坏。

无监督学习从理论上最难分析，因为学习目标通常不明确，常被视为对数据分布进行随机建模的问题，如隐藏马尔可夫和高斯混合模型的计算学习算法在语音识别中很成功。

对于监督学习的计算和统计分析，研究表明任何输入 - 输出函数都可由适当连接的神经网络近似实现，这为研究学习问题的复杂性和泛化问题提供了基础。基于此，产生了许多有用的理论概念，如VC维度和正则化。正则化通过在误差函数中添加额外项来定义数据的规律性，这一思想为学习系统带来了新的算法和架构，如支持向量机。同时，这也使得复杂的深度网络得以复兴，通过反向传播调整数千个参数。 <