【论文笔记】Bidirectional LSTM-CRF Models for Sequence Tagging

Bidirectional LSTM-CRF Models for Sequence Tagging

Created time: July 12, 2021 2:06 PM
Last edited time: July 30, 2021 9:31 AM
PDF: https://arxiv.org/pdf/1508.01991.pdf
Tags: NER
参考材料: https://zhuanlan.zhihu.com/p/119254570
大致思路: 枚举了LSTM, BI-LSTM, LSTM-CRF, BI-LSTM-CRF
精读: Yes
编辑人: Freax Ruby

目录

概述

采用双向LSTM-CRF模型解决序列标注问题

之前有哪些方法

• 序列标注这块的方法
  • Hidden Markov Models (HMM),
  • Maximum entropy Markov models (MEMMs)
  • Conditional Random Fields (CRF)
• 语言理解这块
  • RNN
  • CNN

还有提出了双向神经网络解决语音识别问题

做了什么工作

采用LSTM, BI-LSTM, LSTM-CRF, BI-LSTM-CRF。系统的比较了这些模型在NLP标注数据上的效果

对于每个批次，我们首先运行BI-LSTM-CRF模型进行前向传递，其包括LSTM的前向状态和后向状态的前向传递。我们会获取所有位置的所有标签的输出分数作为结果。然后，我们运行CRF