NLP---text-RCNN

1. 简介

参考：(1) Recurrent Convolutional Neural Networks for Text Classification
(2) https://zhuanlan.zhihu.com/p/55015587
(3) https://zhuanlan.zhihu.com/p/42201550

• 设计思想：简而言之就是，结合RNN处理序列数据的优势与CNN提取局部特征的优势。具体分析，(1) RNN属于"biased-model"，一个句子中越往后的词重要性越高。(2) CNN属于无偏模型，能够通过最大池化获得最重要的特征，但是CNN的滑动窗口大小不容易确定，选的过小容易造成重要信息丢失（太小得到的局部特征太小，会丢失较大的特征），选的过大会造成巨大的参数空间。

1.1 模型原理

• 网络结构：模型的网络结构如下图所示，

模型的第一部分是一个BiRNN结构，第二部分是max-pooling层，第三部分是全连接层。第一部分主要用来学习word representation，第二部分和第三部分用来学习text representation。

1.1.1 Word Representation Learning

(1) 学习单词的左上文与右下文的信息
$$c_l(w_i)=f(W^{(l)}{c}_l(w_{i-1})+W^{(sl)}e(w_{i-1}))\text{\hspace{1em}(1)}$$ $$c_r(w_i)=f(W^{(r)}{c}_r(w_{i+1})+W^{(sr)}e(w_{i+1}))\text{\hspace{1em}(2)}$$

• $c_l(w_i)$：是一个稠密向量，表示单词$w_i$的左上文。
• $e(w_i)$：是一个稠密向量，表示单词$w_i$的嵌入向量，即word embedding。
• $W^{(l)}$：是一个矩阵，用于将上一个单词的左上文$c_l(w_{i-1})$传递到下一个单词的左上文$c_l(w_i)$中。
• $W^{(sl)}$：是一个矩阵，结合当前词$e(w_{i-1})$的语义到下一个词的左上文中，s表示的是semantic。
• 右下文$c_r(w_i)$的计算中的符号意义同理可知。

(2) 计算单词$w_i$的隐藏语义向量 (潜在语义表示)

• 将单词$w_i$的左上文、嵌入向量和右下文表示连接起来表示单词$w_i$：
  $$x_i=[c_l(w_i);e(w_i);c_r(w_i)]\text{\hspace{1em}(3)}$$
• 使用线性变换激活函数计算单词$w_i$的隐藏语义向量：
  $$y_i^{(2)}=tanh(W^{(2)}{x}_i+b^{(2)})\text{\hspace{1em}(4)}$$

注释（个人理解）：Word Representation Learning 过程可以看作是卷积过程（从宏观上理解），每个单词的隐藏语义向量$y_i^{(2)}$相当于是一个通道的计算结果，即响应图。

1.1.2 Text Representation Learning

(1) max-pooling层
$$y^{(3)}=\underset{i=1}{\overset{n}{\max }}{y}_i^{(2)}\text{\hspace{1em}(5)}$$
  每一个$y_i^{(2)}$是一个向量，取每一个向量中的最大值组成向量$y^{(3)}$，类似于取每一个响应图中的最大值。最大池化可以帮助找到句子中最重要的潜在语义信息。

(2) 全连接层
$$y^{(4)}=W^{(4)}{y}^{(3)}+b^{(4)}\text{\hspace{1em}(6)}$$ $$p_j=\frac{exp(y_j^{(4)})}{{\sum }_{k=1}^{n}exp(y_k^{(4)})}\text{\hspace{1em}(7)}$$
  将$y^{(3)}$输入到全连接层，然后通过softmax进行分类。

2. 实践

• 说明：论文中作者给出了BiRNN的内部计算方式公式(1)和公式(2)，与RNN本身的构造不一样 (个人理解)，因此网上的代码有两种实现方式，一种是按照论文的公式构造BiRNN，一种是使用tensorflow库中的RNN，即原始的RNN结构。