机器学习笔记 - 使用python代码实现易于理解的反向传播

一、反向传播概述        

        反向传播可以说是神经网络历史上最重要的算法——如果没有有效的反向传播，就不可能将深度学习网络训练到我们今天看到的深度。反向传播可以被认为是现代神经网络和深度学习的基石。

        反向传播的最初版本是在1970年代引入的，但直到1986年具有开创性的论文，Rumelhart、Hinton和Williams通过反向传播错误学习表示，我们才能够设计出更快的算法，更擅长训练更深的网络。

        网络有若干个关于反向传播的教程。我最喜欢的一些包括：

        1.    AndrewNg在Coursera的机器学习课程中对反向传播的讨论。

        2.    数学动机很强的第2章–MichaelNielsen的神经网络和深度学习中的反向传播算法如何工作。

        3.    斯坦福大学的cs231n对反向传播的探索和分析。