用Bert模型计算句子的vector

最新推荐文章于 2024-07-09 22:13:55 发布
最新推荐文章于 2024-07-09 22:13:55 发布
阅读量3.2k 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： Tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/raintungli/article/details/96739200
本文介绍如何使用2018年Google开源的Bert模型来计算句子的向量表示。具体步骤包括获取模型的encoder层、拼接不同层级的特征、计算句子的有效长度并最终得出句子的向量。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. Bert模型

Bert模型是2018年google开源出来的NLP的模型，具体实现请参考：https://github.com/google-research/bert

2. Bert模型计算句子的vector

2.1 通过模型获取句子的encoder层

 model = modeling.BertModel(
        config=bert_config,
        is_training=False,
        input_ids=input_ids,
        input_mask=input_mask,
        token_type_ids=input_type_ids,
        use_one_hot_embeddings=use_one_hot_embeddings)
model.get_all_encoder_layers()

2.2 拼接层级

all_layers = [model.get_all_encoder_layers()[layer_index] for (i, layer_index) in enumerate(layer_indexes)]
encoder_layer = tf.concat(all_layers, -1)

这时候生成的是以句子最大长度的x ,768*n层 纬度的矢量，比如最大句子长度128，层数是-1,-2,-4,-9(4层)

Tensor("concat:0", shape=(?, 128, 3072), dtype=float32)

2.3 计算句子的vector

因为bert模型返回的是句子长度128维的矢量，但我们每个句子都有自己的长度，所以我们需要找到真实长度所对应的矢量，在传递给模型的参数的时候有一个mask，代表128维的句子长度里的有效字的位置用1来标示

点乘mask 找到有效的纬度的矢量

r = X * tf.expand_dims(mask, axis=-1)

简单的平均算法求句子的vector，将有效纬度的矢量相加，在每一层上求均值

tf.reduce_sum(t, axis=1) / (
                    tf.reduce_sum(mask, axis=1, keepdims=True) + 1e-10)

最后输出的是以层为纬度(3072)的句子的vector

Tensor("concat:0", shape=(?, 3072), dtype=float32)

这样就能简单的计算获取到了一个句子的vector

Sentence-BERT模型的句子级语义相似
寻梦友的博客
02-23 193
在很多专业场景下，传统的搜索引擎不能满足客户灵活性问题的“解答”。深入理解客户问题的语义信息，是传统搜索需要解决的一大难题。在一些应用场景中，当用户不知道搜索什么内容时，或者输入相应内容希望得到结果，这时候普通ES索引是不太精准了，因为它不理解用户的语义。例如：“苹果公司发布了新款手机” 和 “苹果推出了新的移动设备”、“如何制作蛋糕”和“蛋糕的制作方法”等等，这些问题在词语上相近较少，但语义上相似度极高。如何去解决上面的问题？--------S-BERT模型实现句子级语义信息表达。
自然语言处理之语言模型：BERT：多语言BERT模型教程
zhubeibei168的博客
06-03 869
词嵌入（Word Embedding）是自然语言处理中的一种技术，它将单词或短语从高维的稀疏向量空间映射到低维的密集向量空间，使得词向量能够捕捉到词与词之间的语义和语法关系。词嵌入技术的核心在于将词表示为实数向量，这些向量能够反映词在语料库中的统计特性，从而在机器学习和深度学习模型中作为输入特征使用。多语言BERT（Multilingual BERT，简称mBERT）是BERT模型的一个变体，旨在处理跨语言的自然语言理解任务。
BERT模型参数量计算
vivi_cin的博客
05-11 1662
token embedding参数：30522（词汇量）* 768（隐藏层大小）position embedding参数：512（文本输入最长大小）* 768（隐藏层大小）segment embedding参数：2（0和1区分上下句）* 768（隐藏层大小）故，词向量总参数量 = （30522 + 512 + 2）* 768 = 22.7 MBQ K V 权重矩阵尺寸：768 * 64（多头注意力机制下）O 的权重矩阵：768 * 768。
BERT中的词向量指南，非常的全面，非常的干货
热门推荐
AI公园
08-20 7万+
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Chris McCormick编译：ronghuaiyang导读在本文中，我将深入研究谷歌的BERT生成的...
探索BERT-Vector：解锁深度学习的语义理解新境界
gitblog_00026的博客
04-22 552
探索BERT-Vector：解锁深度学习的语义理解新境界 在这个链接中，你将发现一个名为的项目，这是一个基于Google的预训练模型BERT的Python实现，用于生成文本的向量表示。该工具旨在帮助开发者和研究人员更轻松地利用BERT的强大功能来进行自然语言处理（NLP）任务。 项目简介 BERT（Bidirectional Encoder Representations from Transf...
大模型/NLP/算法4——bert参数量计算
AndrewPerfect的博客
07-09 1361
BERT的总参数量可以大致通过加总上述各个组件的参数量来估算。但请注意，具体的参数量还会受到模型配置（如隐藏层大小。
BERT输入以及权重矩阵形状解析
weixin_44305115的博客
05-21 2291
需要注意的是这个维度其实可以是其他值，只不过官方恰巧给的是768=64×12(12个head，每个head是64维)，对于Transformer的Encoder来说，这个维度是512，这个时候512≠64×6(6个head，每个head为64维)。Z’向量再乘以一个转换矩阵Wo(768,768)得到最终的Z向量(1,768)。前馈神经网络的维度为3072，由于单个时刻多头注意力的输出维度为(1,768)，第一个线性变换的矩阵形状为(768,3072)，第二个线性变换矩阵的形状为(3072,768)。
使用BERT模型生成句子序列向量
周晓松的个人主页
08-28 1902
之前我写过一篇文章，利用bert来生成token级向量(对于中文语料来说就是字级别向量)，参考我的文章：《使用BERT模型生成token级向量》。但是这样做有一个致命的缺点就是字符序列长度最长为512(包含[cls]和[sep])。其实对于大多数语料来说已经够了，但是对于有些语料库中样本的字符序列长度都比较长的情况，这就有些不够用了，比如我做一个法院文书领域预测任务，里面的事实部分许多都...
bert文本相似度计算_使用bert和其他模型计算文档相似度
weixin_26739165的博客
10-10 8088
bert文本相似度计算入门(Getting Started) Introduction介绍 Document similarities is one of the most crucial problems of NLP. Finding similarity across documents is used in several domains such as recommending simi...
BERT模型—4.BERT模型在关系分类任务上的微调
柳杰的博客
07-28 3269
文章目录引言 引言   关系分类任务在信息抽取中处于核心地位。关系分类任务就是从非结构化文本中抽取出结构化知识；具体为：区分出头实体与尾实体之间的语义关系，比如： 通过模型将头实体与尾实体的语义关系分类分出来。那么BERT模型如何应用在关系分类任务当中呢？关系分类模型的架构有多种选择： 第一种实现方式：将BERT模型应用于句子的向量表征，不管实体位于句子当中的哪个位置，仍然将句子分词，首尾加上[CLS]与[SEP]，将[CLS]的向量表征拿出来，输入到分类器中，这个分类器输出关系预测类型上的打分。 第
一行代码使用BERT生成句向量，BERT做文本分类、文本相似度计算
11-03
一行代码使用BERT生成句向量，BERT做文本分类、文本相似度计算
闲聊机器人实例四:python实现小姜机器人（检索式chatbot_sentence_vec_by_bert_bert句向量）
大漠帝国的博客
05-12 2279
bert构建生成句向量，再计算相似度，匹配问答库中的标准问题。为什么使用bert倒数第二层输出构建句向量。 小姜机器人、python、tensorflow、chatbot、dialog、bert中文短文本、fuzzywuzzy、检索式、生成式、聊天、闲聊、对话、问答、多轮、单轮、开放、封闭、任务、垂直等等描述，都属于自动问答领域。而且已经有了比较大的应用，常见的智能手机助手、聊天...
从零开始构建BERT，BERT图解
Western_europe
09-10 658
先介绍BERT模型要做什么，即：模型的输入、输出分别是什么，以及模型的预训练任务是什么；然后，分析模型的内部结构，图解如何将模型的输入一步步地转化为模型输出；最后，我们在多个中/英文、不同规模的数据集上比较了BERT模型与现有方法的文本分类效果。 1. BERT模型的输入/输出 BERT模型的全称是：BidirectionalEncoder Representations from Transformer。从名字中可以看出，BERT模型的目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的Repre
bert 做句向量
机器学习
07-19 371
https://github.com/terrifyzhao/bert-utils
基于BERT的文本相似度计算
weixin_42052964的博客
12-31 1万+
一、背景 最近在研究文本相似度，利用Bert去实现。 如果是在通用领域内进行文本相似度计算的话，就无需对Bert中文模型进行预训练，如果在特定领域内，就需要提前用大量的语料进行对google原版的中文模型进行预训练。 bert用来提取句向量，然后利用余弦距离去计算相似度。 二、具体实现 利用苏神的bert4keras去构建网络模型，简单而又方便。 from bert4keras.models import build_transformer_model from bert4keras.tokeniz
Bert实战一之处理单条句子
说文科技，做有态度的研究。
12-12 1939
实实在在的介绍使用bert处理单条句子的代码。
tensorflow 获取bert的中间某一层输出的方法
samoyan的博客,记录技术成长~
09-29 2856
在微调bert做微调的时候，想着试一下中间层输出进行分类，以及结合bert某几层的输出做分类。 一开始搜索到有博客说使用bert的pytorch版本可以非常容易获取某一层的输出，就想看一下源码里面最后一层 model.get_sequence_output()怎么获取的，发现了是先获取bert每一层的输出，然后取了最后一层。那问题就好弄了， 直接使用下面函数获取所有层的输出，然后取某一行进行后续操作即可 all_layer_output=model.get_all_encoder_layers(..
使用BERT生成句向量
u012526436的博客
02-19 3万+
转载请注明出处，原文地址 在阅读本文之前如果您对BERT并不了解，请参阅我的其他博文BERT完全指南 简介 之前的文章介绍了BERT的原理、并用BERT做了文本分类与相似度计算，本文将会教大家用BERT来生成句向量，核心逻辑代码参考了hanxiao大神的bert-as-service，我的代码地址如下： 代码地址：BERT句向量 传统的句向量 对于传统的句向量生成方式，更多的是采用word emb...
用bert模型将文本块转化成向量
最新发布
06-28
<think>我们正在使用BERT模型将文本块转换为向量。BERT（BidirectionalEncoderRepresentations fromTransformers）是一种基于Transformer的预训练模型，能够生成高质量的文本表示。以下步骤将指导你如何使用BERT将文本转换为向量。###步骤1:安装必要的库首先，确保安装了`transformers`和`torch`库。你可以使用pip安装： ```bashpip installtransformers torch```###步骤2:导入库并加载预训练BERT模型我们将使用HuggingFace的`transformers`库，它提供了预训练的BERT模型以及易于使用的接口。 ```pythonfrom transformersimport BertTokenizer,BertModelimporttorch#初始化分词器和模型model_name ='bert-base-uncased'#选择预训练模型，这里使用基础未区分大小写版本tokenizer= BertTokenizer.from_pretrained(model_name)model =BertModel.from_pretrained(model_name) ```###步骤3:准备文本数据假设我们有一个文本块列表，例如： ```pythontexts= ["BERT isa powerfulmodelfor NLPtasks.","Itcanconvert textinto meaningfulvectors."] ```###步骤4:分词和编码将文本转换为模型可接受的输入格式。注意，BERT模型有最大长度限制（通常为512个token），所以长文本需要截断或分段。```python#对每个文本进行分词，并添加特殊token[CLS]和[SEP]，同时进行填充和截断inputs= tokenizer(texts,padding=True, truncation=True, return_tensors="pt", max_length=128)``` ###步骤5:通过模型获取向量将编码后的输入传递给模型，并获取输出。我们通常使用最后一层隐藏状态作为文本的向量表示。```python#不计算梯度，节省内存withtorch.no_grad():outputs =model(**inputs)#获取最后一层隐藏状态last_hidden_states =outputs.last_hidden_state``` ###步骤6:获取整个文本的向量表示通常，我们使用第一个token（即[CLS]）的隐藏状态作为整个文本的表示，或者对序列中所有token的隐藏状态进行平均或池化。这里我们展示两种常见方法：####方法1:使用[CLS]token的向量```python#取每个序列的第一个token（[CLS]）的向量cls_vectors= last_hidden_states[:,0,:]``` ####方法2:对序列中所有token的向量取平均```python#对每个序列的所有token取平均（忽略padding部分） #注意：需要根据attentionmask来忽略padding部分attention_mask =inputs['attention_mask'] #扩展attentionmask的维度以匹配hidden_statesmask_expanded =attention_mask.unsqueeze(-1).expand(last_hidden_states.size()).float() #对每个序列的token向量求和，然后除以非padding token的数量sum_vectors =torch.sum(last_hidden_states *mask_expanded,dim=1)sum_mask= mask_expanded.sum(dim=1)#避免除以零sum_mask =torch.clamp(sum_mask,min=1e-9) mean_vectors= sum_vectors/ sum_mask``` ###步骤7:使用向量现在，`cls_vectors`或`mean_vectors`就是文本的向量表示，你可以将它们用于后续任务，如文本分类、聚类等。###示例完整代码```pythonfromtransformers importBertTokenizer, BertModelimport torch#初始化model_name ='bert-base-uncased' tokenizer =BertTokenizer.from_pretrained(model_name) model= BertModel.from_pretrained(model_name)#示例文本texts =["BERTis apowerful modelfor NLPtasks.","It canconvert textinto meaningfulvectors."] #分词和编码inputs= tokenizer(texts,padding=True, truncation=True, return_tensors="pt", max_length=128)#获取向量withtorch.no_grad():outputs =model(**inputs)last_hidden_states =outputs.last_hidden_state#方法1:使用CLS向量cls_vectors= last_hidden_states[:,0, :]#形状为(文本数量,隐藏层维度) #方法2:平均池化attention_mask =inputs['attention_mask'] mask_expanded= attention_mask.unsqueeze(-1).expand(last_hidden_states.size()).float()sum_vectors =torch.sum(last_hidden_states *mask_expanded,dim=1)sum_mask= mask_expanded.sum(dim=1)sum_mask= torch.clamp(sum_mask, min=1e-9)mean_vectors =sum_vectors /sum_mask#打印向量形状print("CLS vectorsshape:",cls_vectors.shape)print("Mean vectorsshape:",mean_vectors.shape) ```###注意事项1.**模型选择**：根据需求选择不同的预训练模型（如`bert-large-uncased`等）。2.**长文本处理**：对于超过512个token的文本，需要分段处理或使用其他模型（如Longformer）。3.**计算资源**：BERT模型较大，需要一定的计算资源（GPU加速推荐）。 4. **微调**：如果用于特定任务，可以考虑在特定领域数据上微调BERT模型，以获得更好的向量表示。 通过以上步骤，你可以使用BERT模型将文本块转换为向量表示。 ###相关问题1.如何处理超过BERT最大长度的文本？2.除了BERT，还有哪些模型可以用于文本向量表示？ 3.如何微调BERT模型以提升特定任务的性能？ 4.使用BERT生成的向量可以应用于哪些下游任务？</think>### 使用BERT模型将文本转换为向量的步骤 BERT（Bidirectional Encoder Representations from Transformers）是一种强大的预训练语言模型，可将文本转换为高质量的向量表示。以下是具体实现步骤： #### 1. **安装必要库** ```bash pip install transformers torch ``` #### 2. **加载预训练BERT模型和分词器** ```python from transformers import BertTokenizer, BertModel import torch # 选择预训练模型（如bert-base-uncased） MODEL_NAME = 'bert-base-uncased' # 加载模型和分词器 tokenizer = BertTokenizer.from_pretrained(MODEL_NAME) model = BertModel.from_pretrained(MODEL_NAME) ``` #### 3. **文本预处理与分词** ```python text = "BERT can convert text to meaningful vectors." # 分词并添加特殊token [CLS]和[SEP] inputs = tokenizer( text, return_tensors="pt", # 返回PyTorch张量 padding=True, # 填充到相同长度 truncation=True, # 截断超长文本 max_length=512 # BERT最大长度限制 ) ``` #### 4. **生成文本向量** ```python with torch.no_grad(): # 禁用梯度计算 outputs = model(**inputs) # 获取最后一层隐藏状态（shape: [batch_size, seq_length, hidden_dim]) last_hidden_states = outputs.last_hidden_state # 提取[CLS]位置的向量作为整个文本的表示 cls_vector = last_hidden_states[:, 0, :] # shape: [1, 768] ``` #### 5. **向量使用示例** ```python print(f"文本向量维度: {cls_vector.shape}") print(f"示例向量值: {cls_vector[0, :5]}") # 打印前5个维度值 ``` ### 关键说明： 1. **向量选择策略**： - `[CLS]`向量：通常作为整个文本的语义表示[^2] - **平均池化**：对所有token向量取平均 ```python mean_vector = torch.mean(last_hidden_states, dim=1) ``` 2. **处理长文本**： - 超过512 token的文本需分段处理 - 使用滑动窗口或特殊模型（如Longformer） 3. **实际应用场景**： ```python # 计算文本相似度 from sklearn.metrics.pairwise import cosine_similarity vector1 = get_bert_vector("自然语言处理") vector2 = get_bert_vector("NLP技术") similarity = cosine_similarity(vector1, vector2) ``` ### 注意事项： - 首次运行会下载约400MB的预训练模型 - 建议使用GPU加速（添加`model = model.to('cuda')`） - 不同层输出效果不同，可尝试： ```python # 获取倒数第二层输出 second_last_layer = outputs.hidden_states[-2] ``` ### 相关问题 1. BERT向量和其他文本向量方法（如TF-IDF）有何本质区别？[^3] 2. 如何用BERT向量实现文本分类任务？ 3. BERT在处理多语言文本时需要注意什么？ 4. 为什么BERT不适合直接生成文本？[^1] 5. 如何优化BERT向量生成的速度？[^4]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值