transformers库使用踩坑记

今天打算开始试用一下ALBert，安装了transformers之后就一直报错。经过一晚上终于解决了报错。记录一下，给碰到相同问题的小朋友一点参考。

报错代码： 

from transformers import AlbertConfig, AlbertForPreTraining, load_tf_weights_in_albert

报错内容： 

File "D:\python-venv\pytorch-venv\lib\site-packages\transformers\tokenization_utils_base.py", line 74, in <module>
    from tokenizers import AddedToken
  File "D:\python-venv\pytorch-venv\lib\site-packages\tokenizers\__init__.py", line 79, in <module>
    from .tokenizers import (
ImportError: DLL load failed:

这才刚加载就报错，我的系统是Win10，环境为python3.6，采用venv建的虚拟环境。transformers是通过 pip install transformers 直接安装的。

初步怀疑是兼容性问题。尝试单独加载tokenizers库发现报错一样。

from tokenizers import AddedToken

一查tokenizers的版本为0.10.3，难道因为版本太新，于是尝试降级，直至下降到0.7.0才不报错。但是默认安装的transformers的版本为4.10.0，对应tokenizers要求>=0.10.1 <0.11，于是开始降级transformers，直至2.11.0才能使用。

一晚上就这么过去了，类库也不是越新越好，还是要找经典的稳定版本。