文本向量化（一）基于Bert-Base-Chinese的文本Embedding

已于 2024-06-24 09:29:22 修改
阅读量538 收藏 3
点赞数 3
文章标签： python
于 2024-05-31 14:23:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_63358814/article/details/139351568
版权

 第三周-第四周:文本向量化及向量库搜索研究

 Faiss向量数据库搭建初览

参考:向量数据库-Faiss详解 - 知乎 (zhihu.com)

向量数据库Faiss是Facebook AI研究院开发的一种高效的相似性搜索和聚类的库。它能够快速处理大规模数据，并且支持在高维空间中进行相似性搜索。

安装faiss向量数据库:
conda create -n faiss
conda activate faiss

#pip install faiss-cpu
#GPU版本
#pip install faiss-gpu

conda install -c conda-forge faiss-cpu
 导入faiss向量数据库
import numpy as np
import faiss
随机数据作为向量数据库
d = 128                            # dimension
nb = 10000                         # database size
np.random.
最低0.47元/天 解锁文章
Chk_
关注
LLM--如何使用SentenceTransformer将文本向量化
penriver的博客
03-31 1271
将文本向量化是自然语言处理（NLP）中的一项关键步骤，其主要目的是将原本难以直接被计算机理解的自然语言文本转换成数值形式的向量，以便于后续的机器学习算法和深度学习模型进行处理、分析和建模 本文介绍如何使用SentenceTransformer将文本向量化
文本向量化（二）基于Faiss向量数据库语义向量检索
m0_63358814的博客
05-31 701
目标函数的值（在 k-means 情况下为总平方误差）随迭代次数的变化存储在变量中，并且更详细的统计信息存储在.kmeans.objkmeans.iteration_stats 中。通过PCA，我们可以将Embedding后得到的高维数据投影到一个较低维度的子空间中，这个子空间由数据方差最大的方向（即主成分）构成，从而简化数据结构并突出主要特征。k-means聚类能够通过迭代优化最小化簇内的总平方误差，从而找到数据的自然分组。k-means聚类是一种常用的无监督学习算法，用于将数据分为k个簇。
【NLP笔记】文本向量化
weixin_36488653的博客
03-15 8444
在自然语言处理中，文本向量化（Text Embedding）是很重要的一环，是将文本数据转换成向量表示，包括词、句子、文档级别的文本，深度学习向量表征就是通过算法将数据转换成计算机可处理的数字化形式。
基于ALBERT 进行文本向量化
weixin_44458771的博客
03-22 813
ALBERT (A Lite BERT) 是一种改进的 BERT 模型，旨在减少参数数量并提高训练速度，同时保持或提高性能。“albert_chinese_large”是 ALBERT 模型的一个版本，它是在中文数据集上预训练的。
第3章：中文本文向量化——代码详解
qq_38633279的博客
11-25 2115
文本向量的各种代码详解
BERT-中文文本分类-pytorch：此存储库包含用于文本分类的预训练BERT模型的PyTorch实现
02-03
PyTorch的BERT中文文本分类 此存储库包含用于中文文本分类的预训练BERT模型的PyTorch实现。 代码结构 在项目的根目录，您将看到： ├── pybert | └── callback | | └── lrscheduler.py　　 | | └── trainingmonitor.py　 | | └── ... | └── config | | └── base.py #a configuration file for storing model parameters | └── dataset　　　 | └── io　　　　 | | └── be
Bert 得到中文词向量
每天都要进步的博客
12-29 5297
通过bert模型得到中文词向量
bert-base-chinese中文文档分类
m0_49282175的博客
11-09 929
bert初学者笔记，有问题欢迎大佬指正！本文介绍了如果查看bert的结构，方便小白进行理解，在看了一些论文资料后，对bert有初步的了解，面对代码可能无从下手，但是在查看bert 的结构以后就清楚很多，对于bert 的输入、输出有具象化的了解。
Transformers实践-谷歌-BERT-概览
深度安全实验室
09-14 694
Transformers实践-谷歌-BERT-概览
快速使用 BERT 生成词向量：bert-as-service
热门推荐
P01son的博客
05-21 5万+
BERT 模型是一种 NLP 预训练技术，本文不介绍 BERT 的原理，主要关注如何快速上手使用 BERT 模型生成词向量用于下游任务。 Google 已经公开了 TensorFlow 版本的预训练模型和代码，可以用于生成词向量，但是还有更简单的方法：直接调用封装好的库 bert-as-service 。 使用 bert-as-service 生成词向量 bert-as-service 是腾讯...
基于text2vec进行文本向量化、聚类
qq128252的博客
02-02 1万+
文本向量表征工具，把文本转化为向量矩阵，是文本进行计算机处理的第一步。text2vec实现了Word2Vec、RankBM25、BERT、Sentence-BERT、CoSENT等多种文本表征、文本相似度计算模型，并在文本语义匹配（相似度计算）任务上比较了各模型的效果。
炼丹技巧 | BERT的下接结构调参
01-07
前情回顾 我们之前介绍了 BERT的原理与应用 BERT与其他预训练模型 BERT四大下游任务 现在我们基于（2019BDCI互联网金融新实体发现 | 思路与代码框架分享（单模第一，综合第二））代码实践来介绍一下BERT如何调参才能更加充分训练，使得到的模型性能更好。 具体代码链接： https://link.zhihu.com/?target=https://github.com/ChileWang0228/Deep-Learning-With-Python/tree/master/chapter8 1.Epoch epoch：训练模型的迭代次数。我们主要看损失是否收敛在一个稳定值，若
【持续更新中】transformer详解和embedding大模型
MengyuyangEddy的博客
01-08 1620
但由于Transformer不包含任何循环结构，Transformer模型对输入序列中的每个元素进行处理时是并行的，各个单词在Transformer中都同时经过Decoder-Encoder的变换，这就导致了Transformer无法捕获单词的位置信息。在编码器－解码器注意力中，查询来自前一个解码器层的输出，而键和值来自整个编码器的输出。有些区域很敏感，有些则不敏感。推荐时，会有一个助词词汇，剔除，它们对于注意力的影响挺大的，因为出现的频率很大，但表达的含义是有限的，注意力机制很重要。
bert 相似度任务训练简单版本,faiss 寻找相似 topk
木下瞳的博客
03-01 1040
但其实在相似度任务中，我们每一条数据都是【text1\ttext2\tlabel】的形式，其中 label 代表相似度，可以给两个文本打分表示相似度，也可以。可以看到还是较好的学习了我数据特征：只要两文本中有一个地址相似我就作为相似，标签为 1，否则 0。现在我搞了一个招聘数据，里面有办公区域列，处理过了，每一行代表【地址1\t地址2\t相似度】，0 代表不相似，1 代表相似，他这篇文章利用了这种思想，对新手还挺有用的。只要两文本中有一个地址相似我就作为相似，标签为 1，否则 0。，相当于二分类任务了。
bert serving的简单使用（文本向量化）
ChanceYing的博客
06-05 1万+
不涉及原理 更详细的请参考官方文档 https://bert-as-service.readthedocs.io/en/latest/index.html 下载预训练模型 (下载可能需要一些时间，可以先去下一步) 可以直接去github下载 https://github.com/google-research/bert 解压后的文件有5个 安装python库 pip install bert-serving-server pip install bert-serving-client 启动服务 在命
bert 生成文本句向量
shlhhy的博客
09-04 7055
之前生成文本句向量的方法是：训练词向量模型w2v，将句子中各词的向量进行平均，现在想尝试一下用bert模型生成句向量。 1.bert模型结构 all_encoder_layers： 经过transformer_model函数返回每个block的结果，即对应bert的12个Transformer层 sequence_output：bert最后一层的输出，不明白其与all_encoder_layers最后一层的输出有何不同？ 2. 加载bert模型 加载bert模型主要使用modeling文件中的相关函数
使用BERT对句子进行向量化(TensorFlow版和Pytorch版)
ljp1919的专栏
06-06 1万+
背景 用BERT对句子进行向量化 实施 TensorFlow版直接用肖涵博士的bert-as-service。使用方法真的很小白，简单概括为2点：server和client安装。 pip install bert-serving-server # server pip install bert-serving-client # client, independent of `bert-serving-server` 在server安装完后，启动服务，比如：bert-serving-start -mod
使用bert将中文文本转化成词向量的方法
旧时佑忆的空间
03-21 3万+
方法一： https://github.com/hanxiao/bert-as-service详情参考该github 使用肖涵博士的bert-as-service，这里笔者使用的为python3.5，tensorflow1.13版本，同时还需要pip安装如下几个包， pip install bert-serving-server pip installbert-serving-cli...
bert模型文本分类
luoyexuge的专栏
01-11 8551
bert模型文本分类，实际这个东西google官方已经提供了代码，做文本分类实际是一个最简单的问题，下面用官方代码改了下，可以在低版本的tensorflow上运行，至于数据格式不再做多谈，就是input、inputmask、label，其中segment_ids可以不用做文本分类，看下代码： import tensorflow as tf from tensorflow.contrib.lay...
bert-base-chinese模型应用
最新发布
01-27
### 如何使用 `bert-base-chinese` 模型进行中文自然语言处理任务 #### 加载模型与分词器 为了能够顺利加载并使用 `bert-base-chinese` 模型，需先安装 Hugging Face 的 Transformers 库。之后可以通过指定路径来初始化 BertModel 和 BertTokenizer 类实例。 ```python from transformers import BertModel, BertTokenizer # 初始化 BERT 模型和分词器 model = BertModel.from_pretrained('/opt/nlp/bert-base-chinese') # 载入本地存储的预训练权重文件[^3] tokenizer = BertTokenizer.from_pretrained('/opt/nlp/bert-base-chinese') # 使用相同的配置创建对应的分词工具 ``` #### 文本编码转换 当准备好了上述组件后，下一步就是将待分析的文字转化为适合输入给神经网络的形式——即 token ID 列表形式： ```python text = "你好世界" encoded_input = tokenizer(text, return_tensors='pt') print(encoded_input) ``` 这段代码会输出如下结构的数据字典，其中包含了经过编码后的 tokens id 数组以及 attention mask 等辅助信息。 #### 获取特征向量表示 最后一步则是调用已经加载好的 BERT 模型来进行前向传播计算，并提取最后一层隐藏状态作为句子级别的语义表达： ```python output = model(**encoded_input) # 取得 [CLS] 标记对应位置上的隐含层激活值（通常用于分类任务） cls_embedding = output.last_hidden_state[:,0,:].detach().numpy() print(cls_embedding.shape) # 输出形状应为 (batch_size, hidden_dim)，这里 batch_size=1 ``` 通过这种方式可以方便快捷地获得高质量的语言学特征描述子，进而支持下游的各种 NLP 场景应用需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值