bert-as-service环境搭建

环境要求

本文在anaconda虚拟环境中故先切换至预先装好的有TensorFlow的环境下再安装。

Python>=3.5
Tensorflow>=1.10

安装

pip install bert-serving-server # 服务端

pip install bert-serving-client # 客户端

下载预训练模型

bert-as-service官方链接：https://github.com/hanxiao/bert-as-service
在Getting Started中第一步Download a Pre-trained BERT model中单机即可以下载

谷歌github官方链接：https://github.com/google-research/bert#pre-trained-models
在Pre-trained models中下载

哈工大中文预处理模型链接：https://github.com/ymcui/Chinese-BERT-wwm
在中文模型下载

linux下解压

• 下载后放置/tmp 路径下使用unzip命令解压

例如下载的是multi_cased_L-12_H-768_A-12.zip

unzip /tmp/multi_cased_L-12_H-768_A-12

启动BERT服务

bert-serving-start -model_dir /tmp/multi_cased_L-12_H-768_A-12/ -num_worker=2

-model_dir是预训练模型的路径，-num_worker是线程数

在客户端获取

• 句向量

from bert_serving.client import BertClient
bc = BertClient()
bc.encode(['First do it', 'then do it right', 'then do it better'])

好像这个跑的太慢了，晚点在更新

参考博客： https://blog.youkuaiyun.com/qq_34832393/article/details/90414293