关于Text Embedding检索模型

已于 2024-10-28 12:37:07 修改
阅读量1.1k 收藏 15
点赞数 28
文章标签： 深度学习 人工智能
于 2024-05-04 14:48:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/RandyHan/article/details/136039029
版权

前置知识复习

  • https://www.cnblogs.com/Allen-rg/p/13958508.html
  • word2vec详解：https://zhuanlan.zhihu.com/p/114538417
    Word2Vec和GloVe都是用于将词与向量相关联的流行词嵌入模型。

相同点：

  1. 目标：Word2Vec和GloVe的共同目标是将词汇映射到低维向量空间中，以便在自然语言处理任务中使用。
  2. 算法：它们都是基于神经网络和统计学习的方法。

不同点：

  1. 训练方式：Word2Vec使用了两种不同的模型，分别是Skip-gram和CBOW模型；而GloVe使用全局语料库统计信息来计算词向量。
  2. 上下文信息：Word2Vec模型侧重于局部上下文信息，即根据当前词预测其上下文单词；GloVe模型将全局共现统计信息纳入考量，能够更好地反映词汇间的关系。
  3. 训练速度：由于GloVe利用了全局信息，它在大规模数据集上的训练速度通常比Word2Vec更快。

word2vec

Skip-gram模型和CBOW（Continuous Bag of Words）模型是Word2Vec中两种主要的词嵌入模型，它们在训练方式和目标上有一些明显的区别。

  1. Skip-gram模型（跳字模型）：

    • 目标：Skip-gram模型的目标是从中心词预测其周围的上下文单词。
    • 训练方式：给定一个中心词，Skip-gram模型会尝试预测在一定上下文窗口内可能出现的其他词，通过这种方式来学习单词的向量表示。
    • 应用：在小语料库中较为有效，尤其在罕见词上表现更好。

  2. CBOW模型（连续词袋模型）：

    • 目标：CBOW模型的目标是根据上下文单词的信息来预测中心词。
    • 训练方式：给定一个上下文窗口内的词汇，CBOW模型会尝试预测这些词汇的中心词，从而学习单词的向量表示。
    • 应用：在大语料库上运行更快，尤其在频繁出现的词上表现更好。

Bert的词向量分布

在这里插入图片描述
在这里插入图片描述

如何解决？

在这里插入图片描述
[1] Representation Degeneration Problem in Training Natural Language Generation Models
[2] On the Sentence Embeddings from Pre-trained Language Models
[3] Learning to Remove: Towards Isotropic Pre-trained BERT Embedding

RankCSE

背景：
在这里插入图片描述
在这里插入图片描述

排序算法

在这里插入图片描述
推荐可分为以下四个流程，分别是召回、粗排、精排以及重排：

召回是源头，在某种意义上决定着整个推荐的天花板；
粗排是初筛，一般不会上复杂模型；
精排是整个推荐环节的重中之重，在特征和模型上都会做的比较复杂；
重排，一般是做打散或满足业务运营的特定强插需求，同样不会使用复杂模型；
召回层：召回解决的是从海量候选item中召回千级别的item问题

排序一直是信息检索的核心问题之一，Learning to Rank(简称LTR)用机器学习的思想来解决排序问题。LTR有三种主要的方法：PointWise，PairWise，ListWise。ListNet算法就是ListWise方法的一种

  • 补充：https://zhuanlan.zhihu.com/p/610333953
    在这里插入图片描述

pairwise

pointwise方法损失函数计算只与单个document有关，本质上是训练一个分类模型或者回归模型，判断这个document与当前的这个query相关程度，最后的排序结果就是从模型对这些document的预测的分值进行一个排序。对于pointwise方法，给定一个query的document list，对于每个document的预测与其它document是独立的。所以模型输入和对应的标签label形式如下：

输入: 单个document
label: document所属类型或者分值 pointwise方法将排序任务看做对单个文本的回归或者分类任务来做。若文档document的相关性等级有K种，则我们可以建模为一个有K个类别的 0 , 1 , 2 , . . . ,

最低0.47元/天 解锁文章
银晗
关注
文本嵌入技术Text Embedding模型详解：text2vec、OpenAI ada-002到M3E及BGE-M3的演变
丨汀、的博客
09-03 1910
文本嵌入技术Text Embedding模型详解：text2vec、OpenAI ada-002到M3E及BGE-M3的演变
text-embedding-ada-002；BGE模型；M3E模型是Moka Massive Mixed Embedding；BERT
ZJQ的博客
11-06 762
text-embedding-ada-002属于OpenAI大型语言模型系列的一部分，这个嵌入模型是为了将文本（如单词、短语或整段文本）转换为数值形式的向量，使得计算机能够处理和理解自然语言。
text-embedding 嵌入模型
weixin_43589681的博客
05-28 2113
文本嵌入通常在单个任务的一小部分数据集上进行评估，而不包括它们在其他任务中的可能应用。目前尚不清楚最新的语义文本相似性嵌入(STS)是否可以同样很好地应用于其他任务，如聚类或重新排序。这使得该领域的进展难以跟踪，因为各种模型不断被提出而没有得到适当的评估。为了解决这个问题，我们引入了海量文本语义向量基准测试(MTEB)。MTEB包含8个语义向量任务，涵盖58个数据集和112种语言。通过在MTEB上对33个模型进行基准测试，我们建立了迄今为止最全面的文本嵌入基准。
【NLP】Sentence-T5｜谷歌提出文本表示新SOTA
fengdu78的博客
08-25 846
卷友们好，我是rumor。又出新SOTA了。每个新SOTA，都意味着下一位要卷得更辛苦、调得更猛烈一些。而这个SOTA还出在我一直关注的文本表示赛道。这次谷歌用了T5，把STS的平均分从8...
Bert系列：如何用bert模型输出文本的embedding
凝眸伏笔的博客
05-02 2万+
问题： 分类模型可以输出其文本的embedding吗?LM模型可以输出其文本的embedding吗？答案：可以。 假设你已经用自己的数据fine-tuing好模型。 1.用哪个类可以输出文本的embedding? BertModel这个类初始化的模型，输出中有pooler_out，可以作为文本的embedding。bert系列的其他类，没有这个输出选项。稍后会解释pooler_out是什么。 2.获取Embedding的方式有哪些 直接用 CLS Token 的 Embedding 作为句子表征，Bert
T5论文个人记录
qq_55736201的博客
12-09 1355
参考&转载自： 介绍Google推出的大一统模型—T5_谷歌大模型_深度之眼的博客-优快云博客T5 和 mT5-优快云博客T5：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer（万字长文略解T5）_t5论文_hithithithithit的博客-优快云博客 博主在学习的过程中看到了下面这段，要笑死了 T5 （Transfer Text-to-Text Transformer）提出一个统
T5模型简介
热门推荐
日积月累，天道酬勤
05-27 2万+
本文我们先学习一个T5模型的基本概念，最后应用到文本摘要任务上作为实战。
Text Embedding（文本嵌入）模型介绍
培根芝士的专栏
05-27 4598
Text Embedding是自然语言处理（NLP）中的一个核心技术，它指的是将文本（如单词、短语、句子或段落）转换为固定大小的实数向量，这些向量可以捕获文本中的语义信息，使得语义上相似的文本在嵌入空间中具有相似的向量表示。这种转换使得文本数据能够被计算机理解和处理，从而可以在各种NLP任务中使用。
基于luotuo大语言模型的embedding方法
06-27
应用于向量搜素，文本匹配，文本聚类 ，少样本的分类学习，文本数据可视化，效果相比于传统的方法性能大幅度提升
ACL2023 | 一个任务通用的的指令微调Embedder！
zenRRan的博客
09-05 451
深度学习自然语言处理 原创作者：cola随着指令微调模型的发展，开始有人思考既然指令微调可以用来提升语言模型的性能，那么是否也可以用类似的方法来提升文本嵌入模型的性能呢？于是本文作者提出了INSTRUCTOR，这个模型设计了一种通用的Embedder，使得文本嵌入表示能更好地迁移到新的任务和领域，而不需要额外的训练。这个想法也是很有意思的，具体的请看下文吧~论文：One Embedder, Any...
NLP 论文领读 | Seq2Seq一统江湖？谷歌提出全新端到端检索范式DSI，它才是检索模型的未来？
langboat_mengzi的博客
06-13 555
近日来自谷歌研究院的研究人员就发表了一篇名为《Transformer Memory as a Differentiable Search Index》的论文，提出了一种基于Seq2Seq的端到端检索架构DSI，并取得了不错的检索效果。
NLP预训练模型4 -- 训练方法优化（RoBERTa、T5）
anshiquanshu的专栏
07-21 3181
1 背景 上文 NLP预训练模型3 – 预训练任务优化（ERNIE、SpanBERT）我们从预训练任务的角度讲解了如何对BERT进行优化，本文我们从训练方法的角度来讲解BERT优化。 训练方法包括数据语料、文本预处理、超参调整等。 BERT使用的一套超参，比如batch_size、training steps、optimizer、learning rate，是否还有优化的空间呢？每个深度学习调参侠都知道答案是显然的。虽然BERT在大模型大数据的作用下，对超参不是很敏感，但超参调整始终是模型优化一个绕不开
使用transformers的T5模型获取输入文本的sentence embedding句向量
CallMeYunzi的博客
12-24 4495
from transformers import T5Tokenizer, T5Model import torch MODEL_NAME = 't5-small' print(f'Loading {MODEL_NAME} Model...') # 加载模型和tokenizer tokenizer = T5Tokenizer.from_pretrained('t5-small') model = T5Model.from_pretrained(MODEL_NAME) # 输入文本并进行t...
深度学习之模型压缩三驾马车：基于ResNet18的模型剪枝实战（2）
最新发布
ak47maker的博客
06-05 376
本文针对ResNet18模型剪枝进行了优化改进，主要包含三个方面：1) 将剪枝目标层从底层conv1调整为中间层layer2.0.conv1，减少对基础特征的破坏；2) 采用基于激活值的前向传播方法评估通道重要性，优先剪除低激活通道；3) 改进微调策略，动态解冻关联层并使用更低学习率(0.0001)进行10轮微调。这些优化有效提升了剪枝后模型的稳定性和性能表现，特别是通过中间层剪枝和基于特征贡献的通道选择策略，避免了底层特征破坏带来的连锁反应。
Python实现P-PSO优化算法优化循环神经网络LSTM分类模型项目实战
张陈亚的博客
05-31 1048
【摘要】本项目提出一种基于改进粒子群算法(P-PSO)优化LSTM神经网络的分类模型。针对传统LSTM训练中易陷入局部最优等问题，采用带压缩因子的PSO算法优化网络初始参数，提升模型性能。实验使用包含10个特征和2000条样本的数据集，经过数据预处理和探索性分析后，构建P-PSO-LSTM模型。结果表明，优化后的模型在测试集上准确率达95%，F1分数为0.9533，显著优于基准模型。该方法有效解决了LSTM训练过程中的参数敏感问题，为序列分类任务提供了可靠解决方案。完整数据和代码可通过文末方式获取。
NLP学习路线图（二十三）：长短期记忆网络（LSTM）
2501_91516851的博客
06-04 855
长短期记忆网络（LSTM）通过创新的门控机制解决了传统RNN的梯度消失问题。其核心是记忆单元和三个门（遗忘门、输入门、输出门），能够选择性保留长期依赖信息。相比RNN，LSTM的线性信息流使梯度有效传播，门控机制动态调节信息流动。LSTM在文本分类、序列标注、机器翻译等NLP任务中表现优异，并衍生出GRU、双向LSTM等变体。伪代码展示了LSTM单元的基本实现逻辑，包括门控计算和状态更新过程。
深度学习在非线性场景中的核心应用领域及向量/张量数据处理案例，结合工业、金融等领域的实际落地场景分析
mayaohao的博客
06-05 699
‌非线性建模不可替代性‌工业缺陷形态、市场动态、生物信号等复杂模式无法用线性方程描述310‌高维张量处理优势‌图像/点云/频谱等天然高维数据需张量结构存储，深度学习可分层提取非线性特征1112‌激活函数的核心作用‌ReLU/ GELU 等函数赋予模型分层次拟合复杂决策边界的能力38例如晶圆检测中，单个像素缺陷需联合周围100×100区域非线性特征（如纹理渐变、边缘突变）才能准确判定，此时CNN的多层非线性激活远优于线性分类器1011。
深度学习习题2
2301_78450837的博客
06-05 857
4.假设我们拥有一个已完成训练的、用来解决车辆检测问题的深度神经网络模型，训练所用的数据集由汽车和卡车的照片构成，而训练目标是检测出每种车辆的名称（车辆共有10种类型）。造成这一现象的可能原因是什么？A、第一隐藏层对应D，第二隐藏层对应C，第三隐藏层对应B，第四隐藏层对应A。B、第一隐藏层对应A，第二隐藏层对应C，第三隐藏层对应B，第四隐藏层对应D。C、第一隐藏层对应A，第二隐藏层对应B，第三隐藏层对应C，第四隐藏层对应D。D、第一隐藏层对应B，第二隐藏层对应D，第三隐藏层对应C，第四隐藏层对应A。
Embedding检索输出
02-27
### 文本 Embedding 检索输出方法及实现 #### 1. 使用词袋模型 (Bag of Words) 进行检索输出 通过构建词袋模型可以将文本转化为向量形式，进而用于相似度计算和检索。具体过程如下： ```python from sklearn.feature_extraction.text import CountVectorizer import numpy as np corpus = [ "This is a cat.", "This is a dog." ] vectorizer = CountVectorizer() X = vectorizer.fit_transform(corpus) def bow_similarity(query, corpus, vectorizer): query_vec = vectorizer.transform([query]) similarities = [] for i in range(len(corpus)): doc_vector = X[i].toarray().flatten() similarity_score = np.dot(doc_vector, query_vec.toarray().flatten()) similarities.append(similarity_score) return similarities query = "This is an animal" similarities = bow_similarity(query, corpus, vectorizer) print(f"查询 '{query}' 的相似度分数：{similarities}") ``` 此代码展示了如何利用词袋模型来衡量新输入的查询语句与已有文档库中的每篇文档之间的相似程度[^1]。 #### 2. Word2Vec 实现检索输出 对于更复杂的场景，则可采用预训练好的 Word2Vec 模型来进行 embedding 表示，并据此完成检索操作： ```python from gensim.models import KeyedVectors from scipy.spatial.distance import cosine # 加载预先训练好的 Google News word vectors 或者其他来源的数据集 model_path = 'path_to_word2vec_model' word_vectors = KeyedVectors.load_word2vec_format(model_path, binary=True) def wv_similarity(word1, word2, model): try: vec1 = model[word1] vec2 = model[word2] sim = 1 - cosine(vec1, vec2) return round(float(sim), 4) except KeyError: print("One or both words not found in the vocabulary.") return None similarity_score = wv_similarity('cat', 'dog', word_vectors) if similarity_score: print(f"'Cat' 和 'Dog' 的相似度得分为 {similarity_score}.") ``` 上述例子说明了怎样借助于已有的 Word2Vec 模型快速获取两个单词间的余弦相似度得分[^2]。 #### 3. BERT 模型下的检索输出方式 BERT 是一种强大的双向 Transformer 编码器架构，在处理 NLP 任务方面表现出色。为了执行基于 BERT 的文本相似性比较，通常会先加载一个经过微调后的 BERT 模型实例，再使用该模型生成句子级别的 embeddings 向量表示，最后应用距离度量函数（如欧氏距离、曼哈顿距离等）评估不同文本片段间的关系强度。 ```python from transformers import BertTokenizer, BertModel import torch.nn.functional as F tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') texts = ["I love programming.", "Programming makes me happy."] inputs = tokenizer(texts, padding=True, truncation=True, return_tensors="pt") with torch.no_grad(): outputs = model(**inputs) last_hidden_states = outputs.last_hidden_state.mean(dim=1).numpy() def bert_similarity(sentence_embedding_1, sentence_embedding_2): distance = F.cosine_similarity(torch.tensor(sentence_embedding_1), torch.tensor(sentence_embedding_2)) return float(distance.item()) score = bert_similarity(last_hidden_states[0], last_hidden_states[1]) print(f"Sentence pair has a similarity score of {round(score * 100, 2)}% according to BERT.") ``` 这段脚本解释了如何运用 Hugging Face 提供的 `transformers` 库中封装好的工具链轻松获得高质量的上下文感知型文本嵌入特征，并进一步实施有效的相似性分析.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值