使用google的Bert获得中文的词向量

Bret介绍

Bret是Google2018年推出的最新的词向量训练工具，在nlp领域各个问题的性能上均有大幅提升，是nlp领域具有变革型的一项工作。已经有大量介绍Bret原理的博客，感兴趣的可以取看一下。本文主要介绍如何使用Bret获取到中文的词向量，用于后续的诸如文本分类、命名实体识别、情感分类等工作。

下载代码和模型

Google 的工作处处体现着 Money的重要性，毕竟 **All you need is money ** ，Bret 在编码器和解码器分别叠加的6层 Transformer,训练过程及其复杂，需要很高的配置，并且需要大量的训练时间。但是，Google 人性化的是 公布了多个预训练好的模型，我们可以直接使用这些预训练好的模型进行微调（fine-trun）。这也是nlp领域发展的趋势——迁移学习

BERT-Base, Uncased: 12-layer, 768-hidden, 12-heads, 110M parameters
BERT-Large, Uncased: 24-layer, 1024-hidden, 16-heads, 340M parameters
BERT-Base, Cased: 12-layer, 768-hidden, 12-heads , 110M parameters
BERT-Large, Cased: 24-layer, 1024-hidden, 16-heads, 340M parameters
BERT-Base, Multilingual Cased (New, recommended): 104 languages, 12-layer, 768-hidden, 12-heads, 110M parameters
BERT-Base, Multilingual Uncased (Orig, not recommended) (Not recommended, use Multilingual Cased i