目录
二、将google谷歌bert预训练模型转换为pytorch版本
一、bert的中文模型:
1.chinese_L-12_H-768_A-12
这个是谷歌google发布的唯一一个中文模型,可以在google官网上下载该模型,如下图。
下载后,包含如下图所示的几个文件:
google开源了bert源码,并且要求是tensorflow的版本是1.11.0,因此可以训练模型进行微调。
2.chinese_wwm_ext_pytorch
这个是哈工大讯飞联合实验室发布的中文预训练bert模型,可以在官网链接下载,我下载的是pytorch版本,如下图红色框。
下载后,包含如下图几个文件:
下载 pytorch 版本的中文bert模型可以使用 transformers 库中的API快速使用bert模型,具体的API可以参考BERT-transformers官网。另外,Transformers is tested on Python 3.6+, and PyTorch 1.1.0+ or TensorFlo