大模型基础03：Embedding 实战本地知识问答

已于 2023-08-16 21:00:53 修改
阅读量1.5k 收藏 5
点赞数 1
分类专栏： 大模型应用实战 文章标签： embedding 语言模型 人工智能
于 2023-08-16 20:57:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LifeRiver/article/details/132327478
版权
本文介绍了Embedding的概念、发展历史及其在大模型中的价值，通过OpenAI Embedding和知识问答实战展示了Embedding的使用。文章讨论了如何生成和存储Embedding，以及未来趋势，强调了其在解决大模型知识不足和输入限制问题中的作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

大模型基础：Embedding 实战本地知识问答

Embedding 概述

在这里插入图片描述
知识在计算机内的表示是人工智能的核心问题。从数据库、互联网到大模型时代，知识的储存方式也发生了变化。在数据库中，知识以结构化的数据形式储存在数据库中，需要机器语言（如SQL）才能调用这些信息。互联网时代，人们调用搜索引擎获取互联网上的非结构化的知识。而对于大语言模型而言，知识以参数的形式储存在模型中，通过自然语言的 Prompt 问答的方式就可以直接调用这些知识。

语言是离散的符合，自然语言的表示学习，就是将人类的语言表示成更易于计算机理解的方式，尤其在深度学习兴起后，如何在网络的输入层更好的进行自然语言表示，成了值得关注的问题。在机器学习中，embedding 是指将高维度的数据（例如文字、图片、音频）映射到低维度空间的过程。Embedding 可以将文本数据映射成一个数值向量形式，而且语义相近的词，在向量空间上具有相似的位置，从而方便计算机进行处理和分析。比如用 Cosine 距离计算相似度；句子中多个词的 Embedding

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大模型知识更新：提示词设计持续学习机制
AI天才研究院
10-21 1087
《大模型知识更新：提示词设计持续学习机制》 关键词： 大模型、知识更新、提示词设计、持续学习机制、自然语言处理、深度学习、优化算法、数学模型、项目实战、案例分析 摘要：
【大模型实战】0代码搭建DeepSeek本地知识库，打造专属智能助手
知识靠谱的博客
02-05 2256
0代码基于DeepSeek-R1搭建本地知识库，打造个人专属智能助手
【大模型开发】 一文搞懂Embedding工作原理
热门推荐
qq_39172059的博客
03-12 3万+
本文将从三个方面，带您一文搞懂。
一文说清楚大模型的三种模式：Agent、Embedding、Copilot
最新发布
2501_91386299的博客
04-11 1230
在大模型技术快速发展的今天，如何选择合适的应用模式成为开发者与企业关注的核心问题。Agent（智能体）、Embedding（嵌入模式）、Copilot（副驾驶模式）代表了从功能增强到自主决策的不同智能化层级。本文将从定义、核心特性、应用场景及技术差异等角度，全面解析这三种模式的本质与适用边界，助你在实际业务中精准选型。
认识大模型Embedding技术，加代码实战
python12222_的博客
06-14 2694
Embedding （嵌入）是一个浮点数的向量（列表）。两个向量之间的距离度量它们的相关性，小的距离表示高相关性，大的距离表示低相关性。Embedding （嵌入）也是是一种在机器学习和深度学习中广泛应用的技术，特别是自然语言处理（NLP）和其他涉及高维离散数据的领域。它指的是将原本高维且通常是离散的输入数据（如单词、短语、用户ID、商品ID等）映射到一个低维连续向量空间中的过程。这些低维向量称为嵌入（Embedding vectors）。例如，“国王”和“王后”在嵌入向量的空间里，位置就会挨得很近；
Spring AI Embedding模型概念、源码分析和使用示例
2401_85378759的博客
06-21 1931
Embedding模型是指将高维度的数据（例如文字、图片、视频）映射到低维度空间的过程。简单来说，embedding向量就是一个N维的实值向量，它将输入的数据表示成一个连续的数值空间中的点。嵌入就相当于给文本穿上了“数字化”的外衣，目的是让机器更好的理解和处理。
【AI大模型】Embedding模型解析 文本向量知识库的构建和相似度检索
大数据小禅的博客
05-23 2339
在大模型中，"embedding"指的是将某种类型的输入数据（如文本、图像、声音等）转换成一个稠密的数值向量的过程。这些向量通常包含较多维度，每一个维度代表输入数据的某种抽象特征或属性。Embedding 的目的是将实际的输入转化为一种格式，使得计算机能够更有效地处理和学习文本Embedding在自然语言处理（NLP）中，文本embedding是一个常见的概念。是将文字或短语转换成数值向量的过程。这些向量捕捉了单词的语义特征，例如意义、上下文关系等。
大模型的embedding详解
极客栈
08-14 1915
*Embedding（嵌入）**是大语言模型和其他机器学习模型中的一种核心技术，它通过将离散的数据（如单词、句子、图像）转换为连续的向量表示，使得这些数据可以在高维空间中进行操作和分析。Embedding 的本质是为模型提供一种能够捕捉数据之间语义或特征关系的紧凑数值表示。
AI大模型探索之路-训练篇25：ChatGLM3微调实战-基于LLaMA-Factory微调改造企业级知识库
寻道AI，探索AI无限可能！
05-20 1万+
在当前信息技术迅猛发展的时代，知识库的构建与应用已成为企业竞争的关键。随着自然语言处理技术的不断进步，基于微调的企业级知识库改造落地方案受到越来越多的关注。在前面的系列篇章中我们分别实践了基于CVP架构-企业级知识库实战落地和基于基于私有模型GLM-企业级知识库开发实战；本文将深入探讨和实践一种基于微调技术的企业级知识库改造方法，以期为企业提供更加高效、安全和可靠的知识管理解决方案。
LLM系列(1)：构建面向知识库的行业专属大模型系统——全流程落地技术方案
丨汀、的博客
04-29 1466
LLM系列(1)：构建面向知识库的行业专属大模型系统——全流程落地技术方案
langchain 链式写法-使用本地 embedding 模型，Faiss 检索
木下瞳的博客
04-12 7712
使用本地下载的 embedding 模型去做 embedding，然后从中查相似的。
大模型入门：Embedding模型概念、源码分析和使用示例
2301_81940605的博客
11-16 1万+
本篇对嵌入模型的概念、Spring AI 框架对支持嵌入模型的设计，并对其源码进行分析，最后对API接口进行使用。
大模型入门到精通——使用Embedding API及搭建本地知识库(一)
swpucwf的博客
08-24 3495
首先，生成.env 文件，填写好智谱AI的API-key读取本地/项目的环境变量。find_dotenv() 寻找并定位 .env 文件的路径load_dotenv() 读取该 .env 文件，并将其中的环境变量加载到当前的运行环境中如果你设置的是全局的环境变量，这行代码则没有任何作用。同样的我们也可以从response中获取embedding的类型和embedding。
Embedding向量模型在RAG本地知识库中如何使用
python12222_的博客
03-20 996
通过理解这些技术细节，即使是刚入门的小白也能做出专业选择。当处理中文合同文档时，选择BGE模型配合余弦相似度；处理跨国客服对话记录时，Jina的多语言支持是更好的选择；​ 记住，选择模型的依据终止依据——合适的才是最好的！
大模型语义分析之嵌入(Embedding)模型
2401_85328934的博客
12-30 1379
嵌入是大模型的基础，而嵌入的底层结构就是向量，而表示方式就是矩阵嵌入——Embedding，可能有些人了解过这个词，也可能没了解过这个词；但不管怎么说，嵌入在大模型技术中扮演着非常重要的角色；它是很多上层技术的基础。大模型的底层数学结构是向量，而由于计算机只能进行数值计算；因此向量在计算机中是通过矩阵结构进行表示的，优点就在于计算简单；并且能进行升维和降维操作。大模型之嵌入——Embedding今天在研究RAG技术的时候，一直在思考一个问题，嵌入；
大模型时代Embedding技术简介
ling的专栏
07-13 1602
在机器学习和自然语言处理中，embedding是指将高维度的数据（例如文字、图片、音频）映射到低维度空间的过程。embedding向量通常是一个由实数构成的向量，它将输入的数据表示成一个连续的数值空间中的点。embedding就是一个N维的实值向量，它几乎可以用来表示任何事情，如文本、音乐、视频等。本文主要关注文本的embedding。embedding重要性在于它可以表示单词或者语句的语义。实值向量的embedding可以表示单词的语义。
大模型训练中的Embedding与fine-tuning探讨
weixin_41888295的博客
10-17 613
在实际应用中，OpenAI模型的个性化训练应根据具体任务和数据情况选择合适的Embedding和fine-tuning方法。而在图像识别任务中，可以使用预训练的CNN模型进行fine-tuning，以便更好地适应特定场景的图像数据。首先，fine-tuning需要依赖预训练模型，而这些模型的性能往往受限于训练语料库的质量和规模。然而，Embedding方法也存在一定的局限性。在OpenAI模型个性化训练中，fine-tuning主要应用于对预训练的深度学习模型进行调整，以适应特定应用场景的需求。
【ChatGPT】从零开始构建基于ChatGPT的嵌入式(Embedding) 本地（Local） 智能客服问答机器人模型
AI天才研究院
05-19 2万+
可以被应用于以下几种情况- 搜索（根据查询字符串的相关性对结果进行排名）- 聚类（根据相似性对文本字符串进行分组）- 推荐（具有相关文本字符串的项目被推荐）- 异常检测（识别关联度小的异常值）- 多样性测量（对相似性分布进行分析）- 分类（文本串按其最相似的标签进行分类）本文将主要学习第一种情况：搜索，根据相关性进行排名。也可以理解成搜索完一定会有结果，但是相关性有可能很低，有可能需要用户加以甄别。出来的信息可能不是用户需要的答案。
Embedding原理到实战
KaikebaAI的博客
03-09 1839
原创：王稳钺 资料来源：张春阳 词向量被应用在非常非常多的场景中，甚至可以说跟文字相关的互联网应用基本上都会跟词向量有关系。本文主要从应用、发展以及实战代码来介绍词向量。 1. 词向量的应用 搜索引擎是人们每天都在使用的产品，搜索引擎其实就是利用词向量技术来进行搜索的。搜索引擎是如何工作的呢？其实主要分为三步。第一步，搜索引擎需要爬取互联网上所有的文章，把这些文章全部都转化成词向量。第二步是要将搜索词也转化为词向量。最后一步就是用搜索词的词向量与文章转变成的词向量进行相似度的比较，再把与搜索词相似的文章返回
比较好的本地知识库模型
03-28
<think>好的，用户想寻找适合搭建本地知识库的最佳模型推荐。首先，我需要理解用户的具体需求。他们可能是在企业环境中需要处理私域数据，或者是个体开发者希望构建个性化的知识库。根据引用内容，特别是引用[1]和[4]，构建本地知识库需要考虑数据准备、模型选择以及RAG（检索增强生成）的应用。 接下来，用户提到的“最佳模型”可能涉及多个方面，比如模型的大小、计算资源需求、处理中文的能力以及是否支持本地部署。引用[3]和[5]提到了一些大模型的学习资源和实战案例，这可能意味着用户希望了解当前流行的模型选项。 首先，我应该考虑适合本地部署的模型。由于本地资源可能有限，模型的大小和效率是关键。例如，Llama 2和ChatGLM-6B都是开源的，支持本地部署，并且有较好的中文处理能力。Alpaca和BGE这类模型可能在特定任务如嵌入生成上表现更好，适合作为RAG中的检索模块。 然后，需要结合RAG框架。引用[1]和[4]提到RAG可以增强大模型在私域任务中的处理能力，所以推荐支持RAG的模型组合，比如使用BGE生成嵌入，再结合Llama 2进行生成。同时，数据预处理和清洗也是关键步骤，确保模型能够有效利用本地数据。 另外，用户可能需要考虑模型的可扩展性和社区支持。Llama 2和ChatGLM都有活跃的社区，这对于解决问题和获取资源非常重要。而像MOSS和Baichuan2这样的国产模型可能在中文支持上更有优势，适合国内用户。 最后，应该提醒用户根据具体需求选择，比如数据规模、计算资源、是否需要微调等。引用[5]提供的学习资源包可能对用户进一步学习模型部署和优化有帮助。总结来说，最佳模型的选择取决于多个因素，需要综合评估后推荐合适的选项。</think>### 最佳本地知识库模型推荐 搭建本地知识库需综合考虑**模型性能**、**计算资源需求**、**中文支持能力**和**本地化部署灵活性**。以下是推荐模型及选择依据： --- #### 1. **Llama 2 系列** - **特点**：Meta推出的开源模型，支持7B/13B/70B参数版本，适合本地部署[^1]。 - **优势**： - 支持中英文混合任务，社区生态完善（如Chinese-LLaMA-Alpaca中文优化版）[^3] - 可通过量化技术（如GGUF格式）降低显存需求 - **适用场景**：中小规模知识库（需搭配RAG框架增强检索能力）[^4] --- #### 2. **ChatGLM-6B/12B** - **特点**：清华智谱AI开发的双语模型，6B版本仅需8GB显存 - **优势**： - 原生支持中文，语义理解准确 - 支持LoRA微调，适配企业私有数据[^4] - **适用场景**：FAQ问答系统、内部文档检索 --- #### 3. **BGE（BAAI General Embedding）** - **特点**：专为检索优化的嵌入模型，支持中英文 - **优势**： - 在RAG架构中表现优异，适合构建知识索引 - 轻量级，可部署在CPU环境 - **典型用法**：与生成模型（如Llama 2）组成RAG系统，提升知识库准确率[^1] --- #### 4. **Alpaca-LoRA** - **特点**：基于LoRA微调技术的轻量化模型 - **优势**： - 仅需24GB显存即可运行7B模型 - 支持快速迭代企业专属知识库[^2] - **适用场景**：快速验证场景或资源有限环境 --- #### 5. **国产模型推荐** - **MOSS-16B**（复旦大学）：中文代码混合任务表现突出 - **Baichuan2-7B/13B**：通过Apache 2.0协议开源，支持商业应用[^5] --- ### 选型建议表 | 需求场景 | 推荐模型 | 关键技术支持 | |---------------------------|------------------------|----------------------| | 中小规模中文知识库 | ChatGLM-6B + BGE | RAG框架 | | 低成本快速部署 | Alpaca-LoRA 7B | 量化压缩 | | 大规模多模态知识库 | Llama 2 70B + BGE | 分布式推理[^4] | | 商业级应用 | Baichuan2-13B | 微调API支持 | ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AaronZZH

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值