bert火了,许多应用都可以直接使用bert模型生成embedding。今天记录下很好用的工具,bert-as-service。
我的环境是在macOS下的。
先一顿pip,
pip install bert-serving-server # server pip install bert-serving-client # client, independent of `bert-serving-server`
然后下载你要使用的bert模型,英文的,中文的,区分大小写的等等,然后命令行使用以下命令
bert-serving-start -model_dir /tmp/english_L-12_H-768_A-12/ -num_worker=4
其中/tmp/english_L-12_H-768_A-12/ 是你下载的模型的路径。
服务器运行起来了,就可以在pycharm或者其他IDE里面敲代码调用bert模型来获取词向量了,句向量等embedding。
from bert_serving.client import BertClient bc = BertClient() a=bc.encode(['please give me a zan!']) print(a)