深度学习NLP笔记（四）：Word Window 分类与神经网络

最近要开题了，可能无法及时更新（反正也没人看╮(╯▽╰)╭

分类问题

首先给定数据集$${\left\{x_{(i)},y_{(i)}\right\}}_{i=1}^N$$
$x_{(i)}$为样本数据，$y_{(i)}$为对应的标签。
一般的分类问题的解决方案是找到一个决策平面，如经典的SVM算法。如图所示：

softmax函数
公式为
$$p(y_j=1|x)=\frac{exp(W_j\cdot x)}{{\sum }_{c=1}^{C}exp(W_c\cdot x)}$$
简单讲就是将输出通过softmax函数转化为概率形式。
使用交叉熵损失函数，计算一个样本$x$的损失函数：
$$-\sum _{j=1}^C{y}_{i}log(p(y_j=1|x))=-\sum _{j=1}^C{y}_{i}log\left(\frac{exp(W_j\cdot x)}{{\sum }_{c=1}^{C}exp(W_c\cdot x)}\right)$$
由于类别是one-hot编码，$y_i$仅在一个位置上为1，其余全为0，因此损失函数可以简化得:$$-log\left(\frac{exp(W_k\cdot x)}{{\sum }_{c=1}^{C}exp(W_c\cdot x)}\right)$$
扩展为N个样本：$$-\sum _{i=N}^{C}log\left(\frac{exp(W_{k(i)}\cdot x^{(i)})}{{\sum }_{c=1}^{C}exp(W_c\cdot x^{(i)})}\right)$$
在词向量学习中，需要同时学习权值矩阵和词向量，假设一个词向量为$d$维，类别数目为$C$，因此需要$C\cdot d$个权值参数，假设需要更新$\left|V\right|$个词向量，那么总共的参数数目就是$C\cdot d+\left|V\right|\cdot d$，参数数目过多容易导致过拟合，为了避免过拟合，可以引入正则项。

下图中，红线是test error，蓝线是training error，横轴是模型复杂度或迭代次数。直线是方差偏差均衡点。灰色虚线之后红线开始上升就说明模型开始过拟合了。

加上正则项：$$-\sum _{i=N}^{C}log\left(\frac{exp(W_{k(i)}\cdot x^{(i)})}{{\sum }_{c=1}^{C}exp(W_c\cdot x^{(i)})}\right)+\lambda \sum _{k=1}^{C\cdot d+|V|\cdot d}{\theta }_{k=1}^2$$

Word Window 分类

假设我们有一个中心词，一个长度为2的对称窗口


$d$是词向量的维度。
我们按下面的形式将$x^{(i)}$替换为$x_{window}^{(i)}$：
$$x_{window}^{(i)}=\left[\begin{array}{c}{x}^{(i-2)}\\ x^{(i-1)}\\ x^{(i)}\\ x^{(i+1)}\\ x^{(i+2)}\end{array}\right]$$
接下来就是计算损失函数，分类函数使用softmax函数，则损失函数使用交叉熵损失函数：$$J(\theta )=\frac{1}{N}\sum _{i=1}^N-log\left(\frac{e^{f_{yi}}}{{\sum }_{c=1}^C{e}^{f_c}}\right)$$
使$J$对$x$求导，这里的$x$是一个窗口里的拼接向量：

于是更新词向量：

以及权重矩阵：

神经网络

以上是使用softmax函数进行简单分类，但这种分类方式只能分类线性可分的数据，遇到非线性可分的数据就显得很乏力了，此时就需要使用神经网络来构建模型。

神经网络可以提供非线性的决策边界，理论上，神经网络可以拟合任何函数：

从逻辑斯谛回归到神经网络，每个神经元是一个二分类逻辑斯谛回归单元，神经网络同时运行多个逻辑斯谛回归，但不需要提前指定它们具体预测什么

前向传播

首先有一个简单的神经网络

输入是一个窗口大小为$5$，词向量大小为$4$的拼接向量，总维度是$20$，隐藏层包含$8$个神经元，因此权重矩阵的维度是$8\times 20$。神经元的激活函数采用sigmoid函数：$$a=\frac{1}{1+exp(-(w^{T}x+b))}$$
对于神经网络模型来说，我们需要一个优化目标，也就是最大间隔目标函数。
假设$s_c$是误分类样本得分，$s$是正确分类样本得分，我们想要$s$比$s_c$更大，就是最大化$s-s_c$或者最小化$s_c-s$，最简单的想法是只要求正确分类的得分高于错误分类的得分即可，并不要求错误分类的得分多么多么小。这得到间隔最大化目标函数：
$$minimizeJ=max(s_c-s,0)$$
但这种方法有风险，它没有创造一个安全的间隔，对优化函数进行修改：$$minimizeJ=max(\Delta +s_c-s,0)$$
对这个间隔进行修正可以使其为1，最终得到：
$$minimizeJ=max(1+s_c-s,0)$$
上述两个得分可以按照前面的公式计算得出，$s_c=U^{T}f(W{x}_c+b)$，$s=U^{T}f(Wx+b)$，负例通常通过负采样算法得到。

反向传播

令$△w^{(k)}=\left[\begin{array}{ccc}{\delta }_1^{(k+1)}{a}_1^{(k)}& {\delta }_1^{(k+1)}{a}_2^{(k)}& \cdots \\ {\delta }_2^{(k+1)}{a}_1^{(k)}& {\delta }_2^{(k+1)}{a}_2^{(k)}& \cdots \\ ⋮& ⋮& \ddots \end{array}\right]={\delta }^{(k+1)}{a}^{(k)T}$
其中，${\delta }^{(k)}$为第k层的误差。
由于$\frac{\partial J}{\partial s}=-\frac{\partial J}{\partial s_c}=-1$，所以我们可以只考虑$\frac{\partial s}{\partial x}$
$$\begin{array}{rl}\frac{\partial s}{\partial x_j}& =\sum _i\frac{\partial s}{\partial a_i}\frac{\partial a_i}{\partial x_j}\\ & =\sum _i\frac{\partial U^{T}a}{\partial a_i}\frac{\partial a_i}{\partial x_j}\\ & =\sum _i{U}_i\frac{\partial f(W_{i\cdot }x+b)}{\partial x_j}\\ & =\sum _i{U}_i{f}^{\prime }(W_{i\cdot }x+b)\frac{\partial W_{i\cdot }x}{\partial x_j}\\ & =\sum _i{\delta }_i{W}_{ij}\\ & =W_{\cdot j}^T\delta \end{array}$$
所以，整个向量的偏导数就为$$\frac{\partial s}{\partial x}=W^T\delta$$