RNN基础概念

一、潜变量回归模型

  使用潜变量$h_t$总结过去的信息

二、RNN

  更新隐藏状态：$h_t=\phi (W_{hh}{h}_{t-1}+W_{hx}{x}_{t-1}+b_h)$

  更新输出：$o_t=W_{oh}{h}_t+b_o$

  RNN的输出取决于当前输入和前一时间的隐变量

三、困惑度

  衡量语言模型的好坏，可用平均交叉熵损失

$$\pi =\frac{1}{n}\sum _{i=1}^n-logp(x_i|x_{i-1},...)$$

  $p$是语言模型的预测概率，$x_i$是真实词

  NLP领域使用困惑度 $exp(\pi )$ 来衡量语言模型的好坏，当$exp(\pi )=1$时，结果完美；当$exp(\pi )$无穷大时，情况最坏

四、梯度裁剪

  梯度裁剪可有效预防梯度爆炸，即如果梯度长度超过$\theta$，则将其赋值为$\theta$

$$g=min(1,\frac{\theta }{||g||})g$$

五、RNN的应用