10、神经网络中的反向传播与联想记忆：原理、应用与优化

神经网络中的反向传播与联想记忆：原理、应用与优化

1. 反向传播算法概述

反向传播（Backpropagation）是神经网络中研究最为深入的训练算法之一，也是大多数人寻求基于网络解决问题的起点。不过，它存在一个明显的缺点，即在处理现实世界的问题时，训练往往需要花费数小时之久。因此，人们付出了大量努力来改进其训练时间。

例如，Jacobs在1988年提出的delta - bar - delta算法，为每个权重分配自适应学习率，以优化学习速度。而Yu等人在1995年则开发了调整单一全局学习率的方法来加速学习。

从历史角度看，反向传播由Werbos在1974年发现，并在其博士论文中进行了报告。后来，Parker在1982年重新发现了它，但该版本仅存在于一份未广泛传播的技术报告中。直到1986年，Rumelhart等人在其著名的《并行分布式处理》一书中再次发现并推广了这一算法，恰逢神经网络研究兴趣复苏，使其在经历了一段相对低迷期后重新受到关注，此前它在很大程度上被传统人工智能的研究所掩盖。

2. 反向传播算法总结

我们最初的目标是使用梯度下降法来训练多层网络，并得到delta规则的推广。这得益于从信用分配问题的角度进行思考，它为将误差“归咎”于隐藏单元提供了一种方法。这个过程涉及从输出层反向传递误差信息，从而产生了“反向传播”这一后续训练算法的术语。

基本算法可以通过添加动量项来增强，这能在误差 - 权重表面的大均匀区域内有效提高学习率。然而，遇到的主要问题之一是误差函数中存在局部极小值，这可能导致次优解。可以通过串行更新或动量向梯度下降中注入噪声来避免这些问题。

反向传播是一种非常通用的监督算法，可应