bert中文使用总结

目录

一、bert的中文模型：

1.chinese_L-12_H-768_A-12

2.chinese_wwm_ext_pytorch

二、将google谷歌bert预训练模型转换为pytorch版本

1.运行脚本，得到pytorch_model.bin文件

2.写代码使用transformers调用bert模型

三、bert-as-service

1.安装方法

2.启动bert服务

3.在客服端获取词向量

四 使用bert做文本分类

参考链接

---

一、bert的中文模型：

1.chinese_L-12_H-768_A-12

这个是谷歌google发布的唯一一个中文模型，可以在google官网上下载该模型，如下图。

下载后，包含如下图所示的几个文件：

google开源了bert源码，并且要求是tensorflow的版本是1.11.0，因此可以训练模型进行微调。

2.chinese_wwm_ext_pytorch

这个是哈工大讯飞联合实验室发布的中文预训练bert模型，可以在官网链接下载，我下载的是pytorch版本，如下图红色框。

下载后，包含如下图几个文件：

下载 pytorch 版本的中文bert模型可以使用 transformers 库中的API快速使用bert模型，具体的API可以参考BERT-transformers官网。另外，Transformers is tested on Python 3.6+, and PyTorch 1.1.0+ or TensorFlow 2.0+。详情参考安装链接

注：使用 transformers 运行 bert 模型的时候，要把下载的 pytorch 版的模型的文件名字改一下，即把 bert_config.json 改名为 config.json，Transformers加载Pytorch模型时会自动调用，之后可以通过Transformers正常使用。

如果对transformers不太熟悉，可以看一下