本文探讨了BERT模型在实体识别任务中结合CRF层可能存在的学习不充分问题，特别是CRF层与BERT层之间的梯度传递问题。通过调整CRF层的学习率，有效地解决了标签乱序现象，提高了实体识别的准确性。
前段时间看了苏神的文章，关于CRF层可能存在学习不充分问题，文章地址：https://kexue.fm/archives/7196，简而言之就是bert拟合能力太强，可以迅速的学习出字的标签分布，但是CRF部分和BERT没什么关系，前面的字标签已经学习的很好了，导致转移的矩阵的梯度会非常小。想到本人前段时间正好做的实体识别任务，有时候会存在标签乱序的现象，故把以前的代码CRF层中加入不同的学习率，实验结果确实是可以改善标签乱序现象。
本文主要是实验下如何在tensorflow中给不同的层设置不同的学习率，任务是bert+CRF实体识别https://github.com/lplping/Chinese-NER-
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
