神经网络与反向传播

本章主要内容

• 介绍一下单层和多层的神经网络以及他们在分类问题的应用
• 反向传播（链式求导法则在更新参数的应用）
• 实际应用场景下一些参数设计策略。

 

神经网络基础 

神经网络用来解决一部分非线性可分的分类任务。传统的分类器用来做这类任务的效果不好。

单个神经元的计算。

单层神经计算：

同时对于实体识别问题，我们通常需要得到一个评分：

这个时候需要乘上一个矩阵：

前面这些应该很好理解。

目标函数确定：

我们通过目标函数优化的目标是为了寻找能够正确分类实体Paris的W，b这类的参数。

实体识别：paris。我们有很多标注的数据集（window，label）

正例的数据集我们通过W，b算到的分数为s。负例的数据我们通过W，b计算得到的分数为：sc。

我们希望的正例算到的分数尽可能高。maxmize（s-sc）或者minimize（sc-s）。

为了降低误差水平，当sc>s的时候，我们让他直接等于0；

目标函数为：（解释：找到所有sc > s的情况，计算误差值，最小化这个误差。）

我们希望有一个margin值：

反向传播训练参数：