bert——Bert-BiLSTM-CRF命名实体识别演变

（1）RNN

网络中的循环结构使得某个时刻的状态能够传到下一个时刻，即可以实现信息的持久化。因此，循环神经网络的主要用途是处理和预测序列数据。

缺点：
RNNs能够把以前的信息联系到现在，从而解决现在的问题。但是，随着预测信息和相关信息间的间隔增大， RNNs 很难去把它们关联起来了。从理论上来讲，通过选择合适的参数，RNNs 确实是可以把这种长时期的依赖关系 (“long-term dependencies”) 联系起来，并解决这类问题的。但遗憾的是在实际中， RNNs 无法解决这个问题。如果序列过长，一方面会出现梯度消散或梯度爆炸的问题，另一方面，展开后的前馈神经网络会占用过大的内存。因此，实际中一般会规定一个最大长度，当序列长度超过规定长度后进行截断。幸运的是，LSTMs能够比较好的解决长期依赖问题。
（2）LSTM
非常适合用于对时序数据的建模，如文本数据。能将长时期的依赖关系 (“long-term dependencies”) 联系起来。
1. 遗忘门
表示让对应信息通过的权重，决定让哪些信息通过这个Cell。

2.输入门
决定让多少新的信息加入到cell状态中来。