【2019斯坦福CS224N笔记】（4）反向传播

csdn：https://blog.youkuaiyun.com/abcgkj

github：https://github.com/aimi-cn/AILearners

---

上节课我们主要讲述了神经网络的一些基础知识和命名实体识别。但到目前为止，我们还没有对训练过程中的参数做出过多的描述。那么我们是如何对参进行更新的呢？这就是本文的主题——反向传播。

那么什么是反向传播呢？维基百科上是这样定义的：

反向传播是（英语：Backpropagation，缩写为BP）“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。而反向传播中运用到的理论，其实就是我们熟知的链式求导法则而已。因此，这就要求人工神经元（或“节点”）的激励函数可微。

详细内容请点这里：【笔记4】反向传播