magic_road的博客

最近因为需要用BERT-CRF模型做一个英文数据的实体抽取模型训练，因为github上BERT-CRF大多是对中文数据做NER， 这里特此记录一下处理过程中的解决方法与思路，废话不多说直接上代码，这里的代码模版参考的是 CLUENER2020项目下的BERT-CRF模型代码, 主要修改部分在 collate_fn 部分的 batch数据的 padding与aligning处理。

在文本多分类模型测试过程报如下错误： RuntimeError: stack expects each tensor to be equal size, but got [512] at entry 0 and [863] at entry 7.之前模型代码写的是 truncation='only_second', 如果文本数据长度差异太大，就必须 truncation设置为True. 改好后就没有上面报错。