LLM-Embedder

原创 已于 2023-10-27 21:01:24 修改 · 1.7k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读

于 2023-10-27 19:52:56 首次发布
LLM-Embedder是一个训练目标为支持大语言模型检索增强的统一embedding模型，强调知识、长期上下文、上下文学习和工具学习四个关键能力。模型基于BAAI/bge-base-en，使用多种任务和数据集进行训练，如问答、指令调整、生成等。训练中应用了 Reward from LLM、Instruction-based Fine-Tuning、Homogeneous In-Batch Negative Sampling 和 Stabilized Distillation 等技术，以优化检索增强效果并稳定训练过程。

1. 目标

训出一个统一的embedding模型LLM-Embedder，旨在全面支持LLM在各种场景中的检索增强

2. 模型的四个关键检索能力

  • knowledge：解决knowledge-intensive任务
  • memory：解决long-context modeling
  • example：解决in-context learning（上下文学习）
  • tool：解决tool learning

3. 要解决的问题

  • 嵌入模型必须优化其对LLM的最终检索增强影响，而不是仅仅关注中间检索结果
  • 不同的检索任务旨在捕捉不同的语义关系，它们的影响可能受到相互干扰

4. base model

是在BAAI/bge-base-en的基础上训练的

5. 训练数据

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLM--如何使用SentenceTransformer将文本向量化
penriver的博客
03-31 1567
将文本向量化是自然语言处理（NLP）中的一项关键步骤，其主要目的是将原本难以直接被计算机理解的自然语言文本转换成数值形式的向量，以便于后续的机器学习算法和深度学习模型进行处理、分析和建模 本文介绍如何使用SentenceTransformer将文本向量化
Query Rewriting 优化技术
m0_70960708的博客
08-02 971
HyDE 方法看起来是无监督的，这种方法没有通过标注过的数据来训练任何模型，包括 generative model（译者注：其主要任务是从数据中学习数据的分布，然后可以用来生成类似于训练数据的新数据样本，通常用于生成图片、文本、音频等类型的数据。） 这种方法中，新的 query 用 q+ 表示，是最初的 query（q）和 pseudo-documents（d’）的简单连接，用 [SEP] 分隔：q+ = concat(q, [SEP], d’)。）” 由于特定时间范围的限制，直接解决这一问题极具挑战性。
如何利用大语言模型（LLM）打造定制化的Embedding模型
FrenzyTechAI的博客
01-09 6329
在探索大语言模型（LLM）应用的新架构时，知名投资公司向量数据库是预处理流程中系统层面上最关键的部分。它能够高效地存储、比较和检索高达数十亿个嵌入（也就是向量）。那么，为什么要如此强调向量数据库的重要性呢？这是因为计算机虽然功能强大，但并不擅长直接理解文本、图像、音频等人类友好的数据格式。通过将这些数据转换成数值型的“向量”，我们能够让计算机更高效地处理它们。而普通的数据库并不是为了处理这样的向量而设计的，尽管现在随着生成式 AI 技术的普及，它们开始逐渐支持向量操作。
论文解读 Retrieve Anything To Augment Large Language Models
weixin_43751415的博客
10-30 2149
实验表明，为一种场景优化的特定任务检索器在其他场景中的性能有限，说明不同检索任务之间的训练影响并不总是可传递的。可以观察到，尽管特定任务的训练可以为其相应的场景（例如，知识增强和上下文学习）提供有竞争力的性能，但当应用于其他用途时，它们的影响会严重削弱。这部分代表了模型对候选的相似度评分，其中𝒆𝑞是查询的嵌入向量，𝒆𝑝𝑖是候选𝑝𝑖的嵌入向量。优化后的公式通过引入稳定化处理（通过重新排序候选列表中的候选样本并引入一种新的权重机制）和多样性采样策略（通过重新排序候选列表中的候选样本并引入一种新的权重机制）。
vLLM能否支持批量Embedding生成？性能实测
最新发布
weixin_34885746的博客
11-25 249
vLLM凭借PagedAttention、连续批处理和显存优化技术，能高效支持大规模并发的Embedding生成任务，显著提升GPU利用率和吞吐量，适用于语义搜索、RAG等场景，且兼容OpenAI接口，便于集成。
LLM之RAG理论（十四）| RAG 最佳实践
wshzd的博客
03-23 989
检索结果可能包含冗余或不必要的信息，这可能会阻止 生成LLM准确的响应。此外，较长的提示可能会减慢推理过程。因此，在 RAG 过程中，汇总检索到的文档的有效方法至关重要。提取式压缩器将文本分割成句子，根据重要性对它们进行评分和排名。Generative Compressor 综合来自多个文档的信息，以重新措辞并生成连贯的摘要。这些任务可以是基于查询的，也可以是非基于查询的。主要评估三种方法：Recomp： 它具有抽取式和生成式压缩机。提取式压缩器选择有用的句子，而生成式压缩器则综合来自多个文档的信息。
Embedder Models是什么
顺其自然~专栏
08-08 841
例如，在NLP中，通过词嵌入技术（如Word2Vec、GloVe或BERT），模型可以将具有相似意义的词映射到向量空间中的相近位置，从而捕获单词的语义特征。，能够捕捉到复杂的模式和深层次的关系，这是传统方法难以实现的。例如，在图像处理领域，使用卷积神经网络（CNN）等模型提取图像特征并将其转换为高维向量，这些向量可以用于图像识别、分类或检索任务。同样，在声音处理领域，音频信号可以被转换为特征向量，包括音调、节奏和音色等信息，从而用于声音识别或音乐生成。比如，在处理大型文档时，可以。
LLMs、Embedders 和 Vector Databases
顺其自然~专栏
04-10 1229
LLMs（大语言模型）、Embedders 和 Vector Databases 是自然语言处理和机器学习领域的三个相关但不同的概念。下面分别解释这三个概念，并说明它们之间的关系。
大模型LLM-微调 RAG
晓的博客
01-20 1357
大型语言模型（LLMs）展示了令人印象深刻的能力，但同时也遇到了诸如幻觉、知识过时以及不透明、不可追溯的推理过程等挑战。检索增强生成（Retrieval-Augmented Generation, RAG）作为一项有希望的解决方案应运而生，它通过整合外部数据库的知识来应对这些挑战。这不仅增强了生成内容的准确性和可信度，特别是在知识密集型任务中，还允许持续更新知识并整合特定领域的信息。RAG将LLMs的内在知识与外部数据库的广泛、动态知识库协同融合。
Retrieval-Augmented Generation for Large Language Models: A Survey
weixin_43564920的博客
01-22 2243
09.结论本文的总结如图7所示，突显了RAG在增强LLM能力方面的重大进步，这是通过将语言模型中的参数化知识与外部知识库中广泛的非参数化数据整合实现的。我们的调查展示了RAG技术的演变及其对知识密集型任务的影响。我们的分析勾勒出RAG框架内的三种发展范式：初级RAG、高级RAG、模块化RAG，每一种都比上一种有所进步。高级RAG范式通过纳入复杂的架构元素，如查询重写、块重新排序和提示摘要，超越了初级RAG。这些创新带来了更为细致和模块化的架构，增强了LLM的性能和可解释性。
【LLM】最简单理解嵌入（Embedding）概念及其应用
2401_82469710的博客
05-17 2423
嵌入是我们遇到的许多技术中看不见但很重要的一部分。从互联网搜索引擎，到推荐系统和广告个性化，再到图像、视频以及语音和声音识别技术的高级分析，嵌入无处不在。
transformer-embedder:基于PyTorch和:hugging_face:变形金刚的Word Level Transformer层
04-07
变压器包埋机 基于PyTorch和Word的Word Level Transformer层 :hugging_face: 变形金刚。 如何使用 从安装库： pip install transformer-embedder 它提供了一个PyTorch层和一个令牌生成器，支持Huggingface的几乎所有预训练模型 库。 这是一个简单的示例： import transformer_embedder as tre tokenizer = tre . Tokenizer ( "bert-base-cased" ) model = tre . TransformerEmbedder ( "bert-base-cased" , subtoken_pooling = "mean" , output_layer = "sum" ) example = "This is a sample sentence" inputs
Spring AI Embedding模型概念、源码分析和使用示例
2401_85378759的博客
06-21 2412
Embedding模型是指将高维度的数据（例如文字、图片、视频）映射到低维度空间的过程。简单来说，embedding向量就是一个N维的实值向量，它将输入的数据表示成一个连续的数值空间中的点。嵌入就相当于给文本穿上了“数字化”的外衣，目的是让机器更好的理解和处理。
AllenNLP源码学习——embedder（简略）
街道口扛把子的博客
03-11 1630
token_embedders用于将index后的词转为tensor。常用的是Embedding类（可以读取预训练词向量）和TokenCharactersEncoder类。 对于TextField，需要用TextFieldEmbedder，更具体地，BasicTextFieldEmbedder。 BasicTextFieldEmbedder 用来管理多个token_embedder，这样单词可以有...
【LLM大模型】Embedding到底干了啥？
Y525698136的博客
07-29 1900
但是了解了之后依然很抽象，到底embed了啥？有啥用？ 一个词和一句话都是如何Embedding的？
理解 Embedder，理解 Chromium 的系统层次结构
THINK . DESIGN . CODE
09-02 4679
理解 Embedder，理解 Chromium 的系统层次结构标签： Chromium作者：易旭昕在 Chromium 官方的文档里面，我们经常会看到 blink’s embedder 或者 content’s embedder 这样的称谓，理解 embedder 的概念，对我们理解 Chromium 的系统层次结构是十分重要的。
Flutter 笔记 | Flutter 核心原理（六）Embedder 启动流程（Android）
川峰的博客
06-02 1457
Embedder是Flutter接入原生平台的关键，其位于整个Flutter架构的底层，负责Engine的创建、管理与销毁，同时也为Engine提供绘制UI的接口，那么底层的实现细节如何？本文将详细分析。在Embedder中，FlutterActivity和FlutterFragment是开发者最常接触的类，例如默认生成的Counter App中，MainActivity正是继承自FlutterActivity，这两个类的父类Activity和Fragment是Android中常见的用于实现一屏UI的单位，
基于Ollama+AnythingLLM搭建本地私有知识库系统
热门推荐
sheex2012的博客
04-30 6万+
本文介绍了LLM在落地应用中的不足，并引入了RAG框架和原理，以及RAG在私有知识库建设中的重要作用。并以Ollama和AnythingLLM为实现手段，构建了并测试了本地知识库，测试结果表明，有了RAG的加持，LLM的回答结果更加贴切，有效。
LLM之RAG理论| RAG 最佳实践
Python_cocola的博客
04-22 939
检索结果可能包含冗余或不必要的信息，这可能会阻止 生成LLM准确的响应。此外，较长的提示可能会减慢推理过程。因此，在 RAG 过程中，汇总检索到的文档的有效方法至关重要。提取式压缩器将文本分割成句子，根据重要性对它们进行评分和排名。Generative Compressor 综合来自多个文档的信息，以重新措辞并生成连贯的摘要。这些任务可以是基于查询的，也可以是非基于查询的。
embedder
03-31
<think>好的，我需要回答用户关于embedder技术的实现和使用教程的问题。首先，我应该明确embedder是什么，以及它的核心作用。根据用户提供的引用[1]，Embedder Models通过大量数据训练，能够捕捉复杂模式和深层次关系，比如在图像处理中使用CNN，音频处理中提取音调、节奏等特征。这说明embedder的主要功能是将数据转换为高维向量，便于后续任务处理。 接下来，我需要整理技术实现的关键点。用户提到的引用[3]中提到了几个关键技术：Reward from LLM，Instruction-based Fine-Tuning，Homogeneous In-Batch Negative Sampling和Stabilized Distillation。我需要将这些技术融入到实现步骤中，可能需要进一步解释这些技术如何应用在embedder的训练中，比如如何通过指令微调提升模型对特定任务的理解，或者如何利用负采样优化对比学习效果。 然后，关于使用教程部分，用户可能希望了解具体如何调用现有的embedder模型，比如使用Hugging Face的Transformers库，或者OpenAI的API。需要分步骤说明，例如安装依赖库、加载预训练模型、进行特征提取等。同时，用户提到引用[2]中关于Maven Embedder的内容，虽然主要是关于Maven命令的执行，但可能用户误将Maven Embedder与一般的embedder技术混淆，这里需要确认是否正确。如果无关，可能需要忽略这部分引用，或者简要说明区别。 还需要考虑用户的实际应用场景，比如文本、图像或音频处理，分别给出示例代码。例如，文本嵌入可以使用Sentence-BERT，图像嵌入用ResNet，音频则可能用VGGish等模型。每个示例需要代码片段和解释，确保用户能够理解如何应用。 此外，需要注意用户提到的格式要求，如行内数学公式使用$...$，独立公式用$$...$$，但当前回答中可能涉及较少数学公式，但如果有，比如损失函数，需要正确应用格式。同时，引用标注要自然，比如在提到训练数据时引用[^1]。 最后，生成相关问题，覆盖实现细节、模型选择、调优方法、应用场景和评估指标等方面，帮助用户进一步探索。</think>### Embedder技术实现与使用教程 #### 一、Embedder技术核心原理 Embedder（嵌入模型）通过将高维数据（如文本、图像、音频）映射到低维稠密向量空间（即嵌入向量），捕捉数据语义特征。例如，文本中相似语义的句子在向量空间中距离更近，数学上可表示为： $$ \text{sim}(E_{\theta}(s_1), E_{\theta}(s_2)) \propto \text{语义相似度} $$ 其中$E_{\theta}$为参数化的嵌入模型，$\text{sim}$为余弦相似度计算[^1]。 #### 二、技术实现关键步骤 1. **模型架构选择** - 文本领域：Transformer架构（如BERT、Sentence-BERT） - 图像领域：CNN（如ResNet）、Vision Transformer - 跨模态：CLIP、ALIGN 2. **训练优化技术** - **Instruction-based Fine-Tuning**：通过指令模板增强模型对任务的理解（如"搜索相关文档："+原始文本）[^3] - **Homogeneous In-Batch Negative Sampling**：在同批次内生成负样本提升对比学习效果 ```python # 伪代码示例：对比损失计算 embeddings = model(batch_texts) similarity_matrix = embeddings @ embeddings.T loss = contrastive_loss(similarity_matrix, labels) ``` 3. **部署优化** - 使用**Stabilized Distillation**压缩大模型为轻量级版本 - 通过ONNX/TensorRT加速推理 #### 三、使用教程（以Hugging Face为例） 1. **安装依赖** ```bash pip install transformers sentence-transformers ``` 2. **文本嵌入提取** ```python from sentence_transformers import SentenceTransformer model = SentenceTransformer('all-MiniLM-L6-v2') embeddings = model.encode([ "如何学习机器学习？", "深度学习需要哪些数学基础？" ]) print(embeddings.shape) # 输出：(2, 384) ``` 3. **图像嵌入提取** ```python from transformers import ViTFeatureExtractor, ViTModel extractor = ViTFeatureExtractor.from_pretrained('google/vit-base-patch16-224') model = ViTModel.from_pretrained('google/vit-base-patch16-224') image = Image.open("cat.jpg") inputs = extractor(images=image, return_tensors="pt") outputs = model(**inputs) embeddings = outputs.last_hidden_state[:,0,:] # 取CLS令牌 ``` #### 四、典型应用场景 | 场景 | 实现方式 | 示例模型 | |-------|---------|---------| | 语义搜索 | 双塔结构编码器 | DPR、ANCE | | 推荐系统 | 用户/商品联合嵌入 | Two-Tower Model | | 异常检测 | 嵌入空间距离阈值 | Autoencoder | #### 五、性能优化建议 1. 使用混合精度训练（FP16/BP16） 2. 对高频查询数据建立向量索引（如Faiss、Annoy） 3. 定期更新训练数据防止分布偏移
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

comli_cn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值