本文介绍了如何利用序列数据的两个方向信息，对比了Merge方式和双向RNN（BiRNN）的区别。BiRNN通过结合前向和后向RNN的状态，提供更丰富的信息利用，而Merge则是简单合并两个方向的预测结果。虽然BiRNN更复杂，但其信息利用程度更深。
单向RNN（forward和backward）只利用了序列数据其中一个方向的信息（left-to-right或者right-to-left），信息量不够，在很多任务中往往达不到性能要求。要想提高模型性能就要尽可能多的利用数据信息，该如何利用序列两个方向上的信息？至少有2种方式可以利用序列数据两个方向上的信息，一是merge两个不同方向的RNN，二是BiRNN。
Merge
Merge是指组合两个独立的单向RNN的预测结果。即分别独立训练两个RNN，一个forward，提取left-to-right方向上的特征，而另一个backward，提取right-to-left方向上的特征，最后将两个RNN的预测输出按照某种方式组合，比如线性等。
此种方式利用了两个单向RNN的特征信息，类似于一种学习多个弱分类模型，将其组合在一起来共同完成任务。
图１ 单向RNN结构图
BiRNN
BiRNN是指组合两个独立的单向RNN的输出状态ÿ
最低0.47元/天 解锁文章
扫一扫
732
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
