中文应用bert
调用腾讯AILab 实验室开源的bert-as-service代码
首先下载bert中文预训练模型
环境配置
pip install bert-serving-server # server
pip install bert-serving-client # client, independent of `bert-serving-server`
启动bert-serving-server
cd bert
bert-serving-start -model_dir ./chinese_L-12_H-768_A-12 -num_worker 1 -max_seq_len 100
新开一个shell,相当于开一个客户端
from bert_serving.client import BertClient
bc = BertClient(ip='localhost',check_version=False, check_length=False)
vec = bc.encode(['优快云中文IT知识服务集团,业务有IT信息传播、技术交流、教育培训和专业技术人才服务。旗下有网络社区、学习平台和交流平台。'])
print(vec)