中科院自动化所2015年发表在AAAI上的论文Recurrent Convolutional Neural Network for Text Classification中提出了RCNN。之前就看过来神的狗池历险记,不过那时还没开始接触NLP不知道来神是研究这个的,当看到论文作者时就惊呆了,赶紧去和博客进行对比,确认大神本人无疑了,果然厉害的人在哪都厉害(づ ̄ 3 ̄)づ,博客地址https://licstar.net/archives/807#comments,大家都去凑凑人气呀。
言归正传,RCNN在词向量的基础上,分别学习词语左右上下文的向量,与词向量构成单词的新表达,然后经过一维卷积和池化后得到文本的向量表示,最后进行分类。
CNN对文本建模时filter大小不好确定,太小时会遗漏很多关键信息,太大时会使得参数过多,因此提出了RCNN。
左侧文本表示:,最左侧随机初始化一个向量,所有句子共享;
右侧文本表示: