使用BERT获取中文词向量

原创 已于 2022-09-30 11:36:59 修改 · 1.6w 阅读 · 62 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#bert

于 2019-03-04 17:15:41 首次发布
本文详细介绍如何利用BERT获取词向量，解决一词多义问题。通过肖涵博士的bert-as-service，介绍环境配置、相关包安装及中文模型下载步骤。演示在PyCharm中调用BERT获取词向量的代码示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

BERT其中的一个重要作用是可以生成词向量，它可以解决word2vec中无法解决的一词多义问题。

然而BERT获取词向量的门槛要比word2vec要高得多。笔者在这里介绍一下如何获取BERT的词向量。

笔者在获取BERT词向量的时候用到了肖涵博士的bert-as-service，具体使用方式如下。

环境要求：python版本>=3.5,tensorflow版本>=1.10（笔者使用的是1.12）
相关包的安装：

pip install  bert-serving-server
pip install bert-serving-client

下载训练好的BERT中文模型：
https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip
启动bert-as-service :在cmd窗口进入bert-serving-start.exe所在的文件夹，在该文件路径下输入bert-serving-start -model_dir E:/chinese_L-12_H-768_A-12 -num_worker=2（训练好的中文模型路径，num_worker的数量可以自行选择），如果成功开启则出现以下界面

接着可以在pycharm终端写入以下代码：

from bert_serving.client import BertClient
bc = BertClient()
print(bc.encode(['中国', '美国']))

可得到词向量为（词向量的维度为768）：

获取完BERT词向量后就可以结合CNN、RNN等模型来实现自己的任务。在博客写作的过程中参考以下网址：

  • https://www.jianshu.com/p/bafdd927ef02

  • https://www.gaozhengjie.cn/archives/240/

bert中文词向量：wobert、roformer
weixin_42357472的博客
02-25 2662
参考：https://kexue.fm/archives/7758/comment-page-1#comments maxlen = 32 # bert配置 config_path = r'C:\Users\long3.xiang\Desktop\tcl\wobert\chinese_wobert_L-12_H-768_A-12\bert_config.json' checkpoint_path = r'C:\Users\long3.xiang\Desktop\tcl\wobert\chinese_wob
用Bert生成中文的字、词向量-附件资源
03-05
用Bert生成中文的字、词向量-附件资源
Bert 得到中文词向量
每天都要进步的博客
12-29 5407
通过bert模型得到中文词向量
中文词转成几千维度张量（词向量），常用方法
最新发布
mayaohao的博客
06-21 406
简单说，就是这些方法通过不同的训练逻辑（统计共现、预测上下文等 ），把中文词转换成带着语义信息的高维（几千维 ）张量，让计算机能 “理解” 词的含义和关联，方便做文本分类、推荐、语义分析这些事儿～
使用google的Bert获得中文的词向量
u014553172的博客
05-06 9818
使用google的Bert获得中文的词向量Bret介绍下载代码和模型 Bret介绍 Bret是Google2018年推出的最新的词向量训练工具，在nlp领域各个问题的性能上均有大幅提升，是nlp领域具有变革型的一项工作。已经有大量介绍Bret原理的博客，感兴趣的可以取看一下。本文主要介绍如何使用Bret获取到中文的词向量，用于后续的诸如文本分类、命名实体识别、情感分类等工作。 下载代码和模型 Go...
文本向量—使用bert预训练模型获取中文的词向量
qq_45301231的博客
04-25 4188
使用了肖涵博士的bert-as-service，详情请参考https://github.com/hanxiao/bert-as-service 1、使用的环境python=3.6，tensorflow=1.13.2，tensorflow版本不能太高，2.x不支持bert-as-service。 安装需要的包： pip install bert-serving-server pip install bert-serving-client 2、同时还需要下载训练好的Bert中文模型：https://stor
bert获得词向量_只需几行 Python 代码，即可用 BERT 玩转词嵌入！
weixin_39783512的博客
11-20 2624
作者 | Anirudh_S 译者 | Sambodhi 编辑 | 张之栋 AI 前线导读： 在自然语言处理领域中，诞生于 2018 年末的 BERT 非常的“火热”。强悍如 BERT，在十多项 NLP 的任务上强势屠榜，业界声称 BERT 将开创自然语言处理领域新的纪元。在本文中，作者 Anirudh_S 将展示如何只使用几行 Python 代码，就可...
快速使用 BERT 生成词向量：bert-as-service
P01son的博客
05-21 5万+
BERT 模型是一种 NLP 预训练技术，本文不介绍 BERT 的原理，主要关注如何快速上手使用 BERT 模型生成词向量用于下游任务。 Google 已经公开了 TensorFlow 版本的预训练模型和代码，可以用于生成词向量，但是还有更简单的方法：直接调用封装好的库 bert-as-service 。 使用 bert-as-service 生成词向量 bert-as-service 是腾讯...
Bert中文提取词向量（GPU）
jufengada9的博客
05-15 6022
环境 Ubuntu 16.04 Python 3.6 TensorFlow >= 1.10 安装 1.下载预训练BERT中文词向量模型 下载下面列出的模型，然后将zip文件解压到要运行的文件夹中 下载链接：https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip 2.安...
ChineseWordVectors:搜集、整理、发布 预训练 中文 词向量字向量，与 有志之士 共同 促进 中文 自然语言处理 的 发展
05-15
ChineseWordVectors 搜集、整理、发布 预训练 中文 词向量/字向量，与 有志之士 共同 促进 中文 自然语言处理 的 发展。 使用说明 所有 词向量/字向量 均 采用 格式存储，如果还未安装 bcolz，请先通过 pip install bcolz 或 conda install bcolz 安装 下载相应的 词向量/字向量 zip 压缩包（如 zh.64.zip），并解压到相应的目录中（如 zh.64），解压后的目录中（如 zh.64）应包含 2 个子目录 embeddings 和 words，分别存储 嵌入向量 和 词（字）典。 参考下面的 Python 代码（兼容 Python 3 和 2），加载 词向量/字向量 import bcolz def load_embeddings(folder_path): """从 bcolz 加载 词/字 向量
使用bert将中文文本转化成词向量的方法
旧时佑忆的空间
03-21 3万+
方法一： https://github.com/hanxiao/bert-as-service详情参考该github 使用肖涵博士的bert-as-service，这里笔者使用的为python3.5，tensorflow1.13版本，同时还需要pip安装如下几个包， pip install bert-serving-server pip installbert-serving-cli...
BERT中的词向量指南，非常的全面，非常的干货
热门推荐
AI公园
08-20 7万+
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Chris McCormick编译：ronghuaiyang导读在本文中，我将深入研究谷歌的BERT生成的...
[BERT]tensorflow获取中文句子向量(基于estimator和基于bertServer两种方法)
hwruirui的博客
04-08 2399
目的：将数据集输入BERT，直接获取句子向量做后续训练 数据集格式：一句话一行（已过滤掉各种符号） 环境：python3.6 + tensorflow1.14 一、利用BertServer 参考：使用Bert得到句向量简单总结_介样不勾的博客-优快云博客_bert获取句子向量 我的数据保存： 1. 安装BertServer： pip install bert-serving-client pip install bert-serving-server 输出： 2. 启动.
bert获得词向量_BERT烹饪之法：fintune 的艺术
weixin_39586649的博客
11-20 1023
大数据文摘授权转载自安迪的写作间作者：ANDYBERT 预训练模型就如宰好待烹的猪，则 finetune 便是烹饪之法，猪头能用来做成香糯浓醇的烧猪头肉，猪蹄能用来做成劲道十足的红烧猪蹄，身上的梅花肉，五花肉，里脊肉也各有各的做法。于是对于 Bert finetune，也就有各种料理之法。序言自去年 BERT 论文发出，正巧半年，不光各大榜单上尽是 BERT 之名，最近公布 NAACL ...
bert提取词向量比较两文本相似度
木下瞳的博客
01-29 3770
使用 bert-base-chinese 预训练模型做词嵌入（文本转向量）embedding[:, 1:-1, :] 这一行的意是以下，数据类型张量。下面这段代码是一个传入句子转为词向量的函数。
基于tensorflow2.0+使用bert获取中文词、句向量并进行相似度分析
weixin_43730035的博客
07-16 4389
本文基于库，调用bert模型，对中文、英文的稠密向量进行探究开始之前还是要说下废话，主要是想吐槽下，为啥写这个东西呢？因为我找了很多文章要么不是不清晰，要么就是基于pytorch，所以特地写了这篇基于tensorflow2.0+的。............
bert获得词向量_SemBERT: BERT 的语义知识增强
weixin_39517560的博客
11-20 347
至此，GLUE leaderboard 上模型基本都公布了细节，上次是阿里的 ALICE，这次是云从科技和上交的 SemBERT。重新看了看 Leaderboard，却发现榜首已不是 RoBERTa，而成了 Adv-RoBERTa（ensemble），来自微软和UMD（马里兰大学）。Adv-RoBERTa 只公布了粗略信息We adopt an improved adversarial train...
如何采用bert获取词向量
11-28
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的语言模型，通过Transformer架构学习文本的上下文信息。要从BERT模型中获取词向量，通常涉及以下几个步骤： 1. **加载预训练模型**：首先，你需要下载一个预训练好的BERT模型，如Hugging Face的`transformers`库提供了多种版本的BERT模型，例如`BertModel`。 ```python from transformers import BertModel, BertTokenizer model = BertModel.from_pretrained('bert-base-chinese') tokenizer = BertTokenizer.from_pretrained('bert-base-chinese') ``` 2. **分词和编码**：使用`tokenizer`将输入文本分割成词汇，并将其转换为模型可以理解的张量格式。例如，对于一段中文文本： ```python text = "这是BERT的一个例子" inputs = tokenizer(text, padding=True, truncation=True, return_tensors="pt") ``` 3. **前向传播**：通过模型对处理后的输入进行前向计算，得到每个词语的词向量。你可以选择特定层（通常是最后的[CLS]表示的词向量）作为整个句子的特征向量： ```python outputs = model(**inputs) last_hidden_state = outputs.last_hidden_state word_embedding = last_hidden_state[:, 0, :] ``` 4. **词向量提取**：`word_embedding`就是对应于给定文本的词向量。如果你需要每个词的单独向量，可以遍历并收集它们。 注意，由于BERT是一个双向模型，它考虑了词语的前后上下文，这使得获取的词向量包含了丰富的语义信息。
评论 21
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值