神经网络模型一般分为输入层、隐层和输出层,其核心或者说深度的体现则在隐层,因此隐层的结构尤为重要,它决定了特征提取的好坏。比如我们耳熟能详的CNN、RNN等,在图像领域更多的会使用CNN,而NLP领域则更多的使用RNN。
基于双向LSTM的seq2seq字标注
LSTM对RNN做了改进,使得能够捕捉更长距离的信息。但是不管是LSTM还是RNN,都有一个问题,它是从左往右推进的,因此后面的词会比前面的词更重要,但是对于分词这个任务来说是不妥的,因为句子各个字应该是平权的。因此出现了双向LSTM,它从左到右做一次LSTM,然后从右到左做一次LSTM,然后把两次结果组合起来。
LSTM可以根据输入序列输出一个序列,这个序列考虑了上下文的联系,因此,可以给每个输出序列接一个softmax分类器,来预测每个标签的概率。基于这个序列到序列的思路,我们就可以直接预测句子的标签。