腾讯云 ES:一站式 RAG 方案,开启智能搜索新时代

腾讯Elasticsearch海量规模背后的内核优化剖析 作者:黄华,腾讯 TEG 云架构平台部研发工程师背景Elasticsearch 在腾讯内部广泛应用于日志实时分析、结构化数据分析、全文检索等场景,目前单集群规模达到千级节点、万亿级吞吐,... 阅读详情

点击蓝字⬆ 关注我们

70b3521e3076879a1e5341800b5bfe03.gif

本文共计8085 预计阅读时长25分钟

导读

在大型语言模型(LLM)引领的革命浪潮中,搜索与大模型的紧密结合已成为推动知识进步的关键要素。作为开源搜索引擎排名第一的 Elasticsearch(ES),结合沉淀多年的文本搜索能力和强大的向量检索能力实现混合搜索,使搜索变得更准、更全、更智能。腾讯云 ES 多年来持续对开源 ES 的性能、成本、稳定性以及分布式架构进行深度增强优化,并在海量规模的云业务中接受考验。腾讯云基于 ES 实现了一站式 RAG 解决方案,具备了 RAG 技术规模化落地能力。本次分享将深入探讨腾讯云 ES 在搜索领域的最新探索,详细解析腾讯云 ES 的一站式 RAG 方案,并介绍围绕该方案架构落地所进行的一系列内核性能和稳定性增强优化措施。

今天的分享会围绕下面七点展开:

1.生活处处有搜索

2.初识检索模型

3.从 Lucene 到 ES

4.大模型与 RAG

5.一站式向量检索与 RAG 方案

6.案例实践

7.Q&A

分享嘉宾:黄国航 腾讯云大数据ES 专家工程师

01.

生活处处有搜索

Huang Guohang

1.生活中的搜索

cd1d8cd0150dba54e396dbd1151c3122.png

搜索技术与 RAG 紧密相连,因此在深入讨论 RAG 之前,让我们先来回顾一下生活中的搜索场景。在我们的日常生活中,搜索无处不在,包括网站目录、视频搜索、音频搜索引擎等多种类型。

2. 搜索技术的演进

bd08753ac5efa471660e0a1e9ba36e00.png

现在,让我们来审视一下搜索技术的发展轨迹。互联网早期的信息量较少,简单的分类整理和人工查找即可满足需求。然而,随着互联网信息的爆炸式增长,文本检索技术应运而生,其核心是基于倒排索引的方法。这一技术能够高效处理海量数据(如 PB 级数据),进行精准的文本检索。然而,文本检索的缺点在于缺乏语义理解能力。

为弥补这一不足,向量检索技术开始发展。向量检索通过提取对象特征,将其表示为向量,利用这些向量实现语义层面的搜索。近年来,随着大语言模型(LLM)和神经网络技术的飞速发展,我们可以借助大模型对海量知识进行搜索,并进一步生成总结性答案。这不仅拓展了搜索的深度与广度,也开启了生成式搜索的新时代。

3.业界趋势:生成式搜索

9a6ac3cfc67321485392685cf9934b57.png

让我们比较一下传统搜索与生成式搜索的区别。传统搜索的核心工作机制是通过爬虫抓取网页,并将这些网页按关键词进行排序展示。用户在需要获取知识时,必须逐一阅读和分析这些网页,最终归纳出所需的信息。这种模式虽然能够提供丰富的数据来源,但学习效率较低,耗费大量时间和精力。

相比之下,生成式搜索依托大模型的强大总结能力,能够对搜索到的知识进行快速归纳整理,直接生成结构化的答案或总结内容。这种方式显著提高了学习效率,因此成为当前非常主流的学习方式。然而,生成式搜索也面临一些问题,我们将在后续章节中展开讨论。

02.

初识检索模型

Huang Guohang

接下来,让我们一同回顾检索模型的发展历程。

1. 分词算法与倒排索引

daf8102e3f0fa9e0026333c5bfd58eaf.png

首先来了解两项关键技术:分词算法和倒排索引。分词技术的核心是将连续的文本切割成单独的单词或词组。目前,分词技术主要分为三个类别:

  • 基于词典的分词算法:这类算法依赖于预先定义的词典,通过匹配词典中的词条来识别和分割文本中的单词。

  • 基于概率的分词算法:这种算法不仅仅依赖词典,还结合了统计概率方法,以确定文本中单词的分界。

  • 基于机器学习的分词算法:这类算法使用机器学习技术,通过训练数据学习分词规则,以实现更准确的文本分割。

完成分词后,我们可以构建一个从单词到文本的映射关系,这被称为倒排索引。倒排索引是一种索引结构,它允许我们快速根据关键词定位到包含这些关键词的文档,从而实现对海量数据的高效检索。这种索引机制是现代搜索引擎能够快速响应用户查询的关键技术之一。

2. 经典检索模型

80351575c9562edd72433cb7d94969a0.png

接下来介绍经典的检索模型。在此列举四种最基础的模型,首先是布尔检索模型。这种模型基于布尔逻辑来组合关键词,其返回结果是满足特定布尔表达式的文档集合。布尔检索模型的优点在于结构简单且查询精确,但同时也存在一些缺点,如缺乏灵活性,不提供结果排序功能,且对用户的查询能力要求较高,需要用户能够准确表达他们的查询需求。

继布尔检索模型之后,概率空间模型应运而生。概率空间模型基于概率论,尤其是贝叶斯理论,它通过利用文档集合中的统计信息来估算文档满足用户查询的概率。这种模型的优点在于,它提供了概率解释,可以根据文档与查询之间的相关性概率进行排序。然而,它也存在一些缺点,包括参数选择和模型调整过程较为复杂,且在面对缺乏足够统计信息的小型文档集合时,其性能可能不尽如人意。

接下来,详细介绍 TF-IDF 权重模型和向量空间模型。TF-IDF 模型主要基于词频(Term Frequency)和逆文档频率(Inverse Document Frequency)来评估一个词在文档中的重要性。这种技术目前被广泛应用于文档检索和文本挖掘领域。尽管其核心仍然是基于关键词的检索,但它的优势在于能够评估词语在文档集合中的重要性。

向量空间模型则基于向量检索,它将文本转换为向量空间中的点,通过计算向量之间的距离或相似度来进行检索。这种模型的主要优势在于能够进行语义检索,因为它考虑了词项之间的相对关系和上下文。然而,它的缺点在于高维空间可能导致计算成本较高。此外,由于我们目前描述向量的特征维度有限,最多达到4096维,因此结果的准确性可能不如基于文本的检索方法高。这意味着在处理高维数据时,向量空间模型可能会遇到性能瓶颈,且在准确性上可能有所妥协。

3. 全文检索

6f68fc27d7837dc84d3fcd58a86e502c.png

接下来介绍的是全文检索。全文检索结合了前面介绍的概率空间模型和 TF-IDF 模型,通过分词、倒排索引以及贝叶斯算法等技术来统计词语与文档的相关性,进而找到包含特定关键词或短语的文档。以 TF-IDF 为例,TF 指的是词条在文档中出现的频率,即词频;IDF 则是词条在所有文档中出现的逆频率,它是通过取词条出现次数的倒数再取对数得到的。总体而言,一个词语在一篇文章中出现的次数越多,同时在所有文档中出现的频率越低,它就越能代表该文档。这种检索方式相较于传统的关键词文本检索,具有评分和评估相关性的功能,因此其精准性得到了显著提升,并且能够应对关键词的缺失。然而,它的局限性在于仍然基于文本,缺乏较好的语义理解能力。例如,“计算机”和“电脑”在语义上是相同的,但在全文检索中仍然被视为两个独立的词。

4. 向量检索

f90f153a0f9a9181e3c8715b594b768a.png

向量检索,也称为近似检索或语义检索,它通过将文档和查询表示为向量空间中的向量,并利用这些向量之间的相似度来检索出与查询最相关的文档。这种检索方式的优点在于其良好的语义理解能力。然而,由于描述向量时特征维度的限制,其精准性可能存在不足。此外,向量检索无法有效应对关键词检索,且难以表达文档的额外属性。这些局限性表明,尽管向量检索在语义层面有所突破,但在精确性和功能性方面仍有改进的空间。

03.

从 Lucene 到 ES

Huang Guohang

接下来,将进入今天的主题——Elasticsearch(ES)。

6da877e1c1f78a5a9bd311bbe9d543aa.png

首先来介绍一下 Lucene。Lucene 是 Apache 软件基金会下的一个开源全文检索引擎工具包。它为软件开发人员提供了一个简单易用的类库,以便在目标系统中实现全文检索的功能。

Lucene 基于倒排索引,提供了一系列的文本处理和搜索功能,包括分词、停用词处理、评分排序、高亮显示以及近实时搜索等。此外,Lucene 还提供了丰富的查询方式,例如范围查询、前缀匹配、模糊匹配和布尔查询等,这些功能使得它在全文检索领域非常强大和灵活。通过这些高级搜索特性,Lucene 能够满足各种复杂的搜索需求,为用户提供快速而准确的搜索结果。基本上在业界只要提全文检索,Lucene 就是第一选择。

7c0df7a4531e84c3f99dd0ae328be3db.png

尽管 Lucene 是一个非常强大的全文检索库,但它是为单机环境设计的。为了解决大规模数据和分布式环境的需求,Elasticsearch 应运而生。Elasticsearch(简称 ES)是一个开源的、基于 Lucene 的分布式全文检索和数据分析引擎。它能够处理海量数据,并提供实时的检索和统计分析功能。Elasticsearch 的设计使其成为处理大数据场景的理想选择,尤其是在需要快速响应和高吞吐量的环境中。

Elasticsearch 的社区非常庞大,全球有超过 10 万的社区参与者,其中在中国就有 1 万。这个数字体现了 Elasticsearch 在全球范围内的广泛受欢迎和应用。此外,Elasticsearch 的下载量达到了 3.5 亿次,在全球搜索引擎的排名中,Elasticsearch 位居第一,在全球数据库的排名中位列第七。这些排名数据源自 DB-Engines,这是一个广受认可的数据库管理系统排名网站。其排名依据涵盖多个维度,包括社区活跃度、下载量、专业出版物中的提及次数等,从而为数据库管理系统的流行度和影响力提供了权威的参考。Elasticsearch 在这些排名中的卓越表现,进一步彰显了其在全文检索和数据分析领域的重要地位。

当前 Elasticsearch 提供了一个 ELK 套件。Elasticsearch 作为 ELK 栈的中心,主要负责数据的存储和分析。ELK 栈包括以下三个主要组件:

  • Elasticsearch:负责存储、搜索和分析数据。它是一个强大的搜索引擎,能够处理大量数据,并提供快速的数据检索能力。

  • Kibana:负责数据的可视化展示。Kibana 允许用户通过图表、地图和仪表板等形式直观地查看和理解 Elasticsearch 中的数据。

  • Logstash:负责数据采集和处理。Logstash 是一个服务器端数据处理管道,可以同时从多个来源采集数据,转换数据,然后将数据发送到 Elasticsearch。

有时,ELK 栈也会包括 Beats,这是一个轻量级的数据采集器,用于向 Elasticsearch 或 Logstash 发送数据。Beats 有多种类型,每种类型都针对特定的数据类型或使用场景进行了优化。

ELK 栈提供了一个完整的解决方案,从数据采集、处理到存储和可视化,使得用户能够轻松地从大量数据中提取有价值的信息。这个栈因其灵活性、可扩展性和易用性而受到许多企业和开发者的青睐。

Elasticsearch 一直是日志场景中的首选解决方案,因为它能够提供高性能的海量数据全文检索。同时,Elasticsearch 提供了商业套件 X-Pack,该套件增强了 Elasticsearch 的功能,包括数据安全、告警、监控、报表、图查询以及机器学习等高级功能。这些功能使得 Elasticsearch 不仅能够处理和检索数据,还能够提供更深层次的数据洞察和安全保障。

04.

大模型与 RAG

Huang Guohang

接下来探讨大模型与 RAG(Retrieval Augmented Generation)。

4bbf6a8dc85d92550fb5ba1f16388248.png

大模型主要分为两类:

  • 决策式大模型:这类模型主要根据数据输入进行决策,其规模相对较小,主要应用于人脸识别、推荐系统、风控系统等场景。它们学习数据中的条件概率分布,用于分类、预测和决策任务。

  • 生成式大模型:这类模型学习数据中的联合概率分布,用于生成新的数据实例,如文本、图像或音频。它们通常具有较大的规模,因为生成新内容需要深入洞察数据。生成式大模型通常拥有上亿甚至上万亿的参数,主要应用于智能问答、智能客服、智能写作等场景。

随着混元 GPT、通义千问等大型模型的相继问世,这些先进的人工智能技术如今已在全球范围内引发广泛关注与热议。在此背景下,我们迫切期望能够将这些大模型技术引入实际生产环节,以期推动产业升级与创新发展。

aa6c5f9905a70f191af2d36ba763fc0f.png

尽管大模型在人工智能领域取得了显著的进展,但它们也面临着一些挑战。首先,大模型的训练数据是静态的,这意味着它们在训练完成后无法实时更新,无法纳入训练之后发生的新信息。因此,大模型在面对后续出现的事件和信息时,可能会表现出认知上的滞后性,从而导致其知识体系逐渐过时。

其次,大模型通常拥有上亿甚至上万亿的参数,这使得每次更新都需要大量的计算资源,尤其是高性能显卡。因此,新信息的引入对于已经学习了海量数据的模型来说,短期内的少量数据基本上无法产生足够的信号来影响其输出,这使得模型更新成本极高。

此外,许多企业的私域知识库不会暴露到公网,而大模型大多基于公网数据进行训练。这导致大模型对私域知识库的表现能力较差,限制了其在企业生产中的应用。

鉴于上述问题,RAG(Retrieval-Augmented Generation)技术应运而生。RAG 技术通过结合检索和生成的方法,能够更好地处理和利用私域知识库,从而提升大模型在企业生产中的应用效果。

f4f132ffec41dea96dce5df25c5b9f96.png

RAG 技术,即检索增强生成技术,是一种通过检索外部知识库来提升大模型生成效果的技术方案。该技术在大模型基础上,通过对本地知识库进行检索,以增强大模型输出的准确性和相关性。

d2e991453771161ecede81524b2bc14c.png

RAG 技术主要应用于知识问答、智能客服、专家系统等场景,其工作流程主要包括以下五个步骤:

①发起问题:用户提出问题,RAG 系统首先对问题进行处理,包括改写、扩写或优化,并将其转换为向量形式,以便于后续处理。

②搜索文档:在 RAG 系统的知识库中进行检索,寻找与问题相关的文档或信息片段。

③Prompt 组装:将检索到的结果与原始问题进行整合,形成一个 prompt 提示,该提示将作为输入发送到大模型。

④模型生成:大模型根据 prompt 生成答案,这一步骤依赖于模型的预训练知识和检索到的外部信息。

⑤答案返回:生成的答案经过格式处理后,返回给用户,完成整个问答流程。

这一流程展示了 RAG 技术如何通过结合检索和生成的方法,提升大模型在特定场景下的应用效果。

05.

一站式向量检索与 RAG 方案

Huang Guohang

下面通过一个具体的落地案例来进一步探讨 RAG 技术的应用。

a0de9a559aa29839b93e906efcb71ede.png

以 Langchain 为代表的众多公开 RAG 解决方案,倾向于采用纯向量检索方式。正如前文所述,纯向量检索的优点在于流程简单、语义理解能力强,但其缺点是精准性较差,因为其依赖于相似度检索,难以处理关键词,且无法表达文档的额外属性。

相比之下,基于倒排索引的全文检索虽然精准度高,但语义理解能力较弱。因此,腾讯 ES 在 RAG 领域提出了一种基于混合检索的一站式解决方案,即结合向量检索和文本检索的多路召回方式,以充分发挥两者的优势,取长补短。

该方案的先进性体现在以下几个方面:首先,全文检索基于 Lucene 的 BM25 评分算法,这是在 TF-IDF 基础上的一次升级,增加了与问题相关性的评分。同时,引入了多语言分词,包括中文、日文、韩文、拼音等,并设计了 QQ 分词,内含百万级中文词汇,基本覆盖了绝大多数的中文场景,分词效果显著。

7b8af143dcdbbf191b75de1c04fc95c6.png

其次,向量检索基于原生 HNSW 算法,并在此基础上自研构建了高性能、高召回率的向量索引。经过验证,我们的多路召回方案在召回率上相对于纯向量检索和文本检索有大幅提升,最高达到了 95%,基本满足了大部分商用场景和 ToB/ToC 场景的召回率要求。因此,我们的方案已被混元收录为 RAG 多路召回的标准解决方案,并在公司内外部支持了 WXG、PCG、TEG 等大型在线知识库的 RAG 项目。

接下来将详细介绍在大型项目中遇到的一些挑战。自年初开始,我们接手了内部的一个大型在线知识库项目,该项目涉及海量书籍构成的百亿级向量检索数据规模,且要求检索延迟在百毫秒以内。原生 ES 基于 HNSW 算法,这是一种主流的基于图结构的向量近似搜索算法,其优点在于召回率和性能都较高,同等召回率下性能可达 Faiss 的 20 倍。然而,其缺点在于纯内存操作,资源消耗极高。在百亿知识库的场景下,资源使用几乎无法满足,预估可能需要五六百台机器,这是一个巨大的规模。

为了实现降本增效,我们通过对 ES 进行深度改造,核心原理是进程内存与系统 MMAP 文件映射的动态结合。具体流程如下:当数据写入内存时,首先在内存中构建上层向量索引和倒排索引,然后将细粒度的向量数据和字段信息进行持久化,编码存放到磁盘上,再通过预加载 Preload 到 MMap FS,在 MMap FS 中进行快速检索。通过这种方式,大幅降低了 HNSW 的内存资源消耗。同时,通过高效的文件编码、MMAP 文件的动态管理以及向量的标量化,提升了检索性能。

这样做的目的是:

  • 当进程内存充足时,当纯内存向量&倒排索引检索库使用,以保证最佳的性能;

  • 当进程不足以存放全部索引时,可以利用 MMapFS 来做内存的压缩跟热索引的访问加速;

  • 当进程 + MMapFS 文件系统都存放不下全部向量索引时,此时自动降级为磁盘向量检索算法。

这种深度改造的架构突破了传统的 HNSW 算法受内存资源的限制,只需要原本的 1/10 ~ 1/20 左右的内存就可以将向量索引全部加载进内存。向量规模越大,实际上可压缩节省的内存就越多。同时我们通过高效的文件编码、MMapFS 文件的动态管理,向量的 int/byte 量化,依然保持了基本无损的写入跟查询性能。不足之处在于首次读取时预加载到 MMapFS 有一个过程,但可以通过主动触发 PreLoad 来加速这个过程。

经过验证,我们的方案在内存资源消耗上降低了 80%,在同等资源情况下,性能提升了 5 到 10 倍。相对于开源 ES 版本,腾讯 ES 能够实现 10 倍的性能提升,达到了业界领先水平。

cb6a0e00a323341636747f5d0c1ec9ea.png

随后,我们将资源优化部分回馈到开源 ES 社区和 Lucene 社区,得到了社区的高度认可和广泛宣传。这不仅提升了我们的技术影响力,还收到了 Elasticsearch 创始人的感谢信。未来,我们将在 AI 时代继续与开源 ES 社区保持紧密合作,共同推动技术的进步与发展。

fc1e61de55772eafbfdeab1f3f505ccc.png

为了更好地服务于更多客户,我们与中国信通院云计算大数据研究所联合40余家企业的 70 多位专家,共同编制完成了 RAG 技术标准。腾讯 ES 作为国内公有云首个从自然语言到向量生成、存储、检索并以大模型集成端到端的一站式平台,腾讯云作为核心参与企业,也是首个通过 RAG 权威认证的标准企业。该标准主要包含五个能力域:知识库构建能力、知识检索能力、内容生成能力、质量评估能力和平台能力。

c23359cac8ae9cbb8a5ec22f01fa125e.png

接下来,我们将介绍腾讯云 ES 的功能,并探讨其与业界现有数据库的区别。目前,业界已有许多相关数据库,如 Milvus 和 Chroma 等向量数据库,以及 MySQL 和 PostgreSQL 等传统数据库,它们也集成了向量检索功能。然而,腾讯云 ES 主要为 RAG 应用提供了丰富的功能,超越了传统向量数据库和其他数据库的解决方案范围。

我们在存储、搜索和生成向量的基础上,还提供了一个开箱即用的训练模型,并支持混合搜索,即基于文本和向量的检索。用户可以灵活选择嵌入模型,并享受过滤、切片、聚合、自动补全、搜索分析、文档级安全以及本地云混合等功能。

0185bba3b8d2063a6c267b14c7adcf25.png

用户在使用腾讯 ES 时,还可以选择我们提供的自有优化模型 ELSER,这是一个基于稀疏模型的优化方案。此外,ES 还内置了微软的 Multilingual-e5 模型,用户也可以上传自己微调训练好的 Transformer Bert 模型到 ES 中进行部署。同时,用户还可以调用 OpenAI 和 Hugging Face 上的模型接口,进行数据的向量化处理。

249e3b9b3d33debf4c2ef0697cfd8933.png

在结果重排方面,ES 提供了一种倒数融合排序算法,该算法主要根据每个结果在结果集中的排序位置,而不是基于相关性分数。这种方式的好处在于,不需要进行归一化调整,就能实现相对较好的排序效果。用户可以减少对相关性的细微调整,从而大大提高便利性。

592d7764f125ce5922b38af6b72c3542.png

ES 的混合搜索功能并非简单地将文本搜索和向量搜索拼凑在一起。在底层引擎方面,不仅提供了文本索引、向量索引和数值索引,还在查询分析理解方面提供了分词、同义词词库、词权重调整、文本分类、命名实体识别等功能。在多路召回方面,可以对每个查询的文本相关性、相似度和类目相关性进行微调。对于多路召回的结果,进行混合打分,并提供了 RF 算法和 LTR(Learning to Rank)模型,用于结果的重排序。

704f713ac5fe5163da629a5bccddeb51.png

ES 还提供了一个专有的机器学习节点,用户可以使用这些专有机器学习节点来上传、管理和部署向量模型,一站式完成向量生成和检索,从而有效提升向量推理能力。同时,这些节点与数据节点隔离,保障了在线业务的稳定性。

7b5a8d6a0cc00cd5de4fb1065e87c8a2.png

为了满足微信、QQ 等海量数据推理的需求,ES 与公司自研的紫霄 AI 芯片相结合。由于原生 ES 基于 CPU 推理,目前不支持 GPU,因此我们采用了自研 AI 芯片紫霄的最新 V2 版本。相对于社区 ES,原生 ES 的性能提升了 18 倍。我们提供了一站式解决方案,用户只需输入一条命令,即可完成从向量生成、向量检索到混合检索,直至输出结果的全流程操作。

06.

案例实践

Huang Guohang

接下来将详细介绍一个具体的应用案例。

d524e2e6796713a7e5ca68be49c29a7b.png

该平台提供了海量数字书籍阅读服务,并最近推出了一个新功能——AI 问书。AI 问书主要提供书籍内容的智能检索,用户在阅读过程中遇到不理解的内容时,可以通过 AI 问书功能在当前书籍中搜索相关答案,而不是依赖于混元等大模型。这是因为大模型可能无法根据特定书籍的内容给出准确回答,而 AI 问书则基于 RAG 技术,能够根据书籍的语义尝试回答用户的问题。举个例子,用户在 AI 问书中输入“马克思”,系统会输出马克思在某本书中的详细资料,并引用相关书籍。此外,系统还会根据用户的问题进行拓展,提供更多相关信息。

681ee3b25ad74850d8c8198dddfdab0c.png

这个知识库平台最初并未使用腾讯云 ES,因此遇到了以下技术挑战:

  • 整体数据超 10 亿级向量规模,存储成本高。早期评估的非 ES 方案,为了满足毫秒级查询,需要缓存全部数据到内存中,则 30 亿 768 维的向量,需要超过 400 台 64G 机器,运营成本百万级。

  • 运维成本高:除了全文检索,同时还需部署向量化服务,在外部进行向量化后,写入到向量数据库,同时向量数据库不存储原始文本信息,还需要额外存放到全文数据库,跟文本的索引信息,相当于需要同时四套系统。

  • 开发成本高:调试召回过程中,需要在外部进行向量化后,从向量数据库召回,然后再用召回 id 访问正排获取原始文本。相当于每一次召回调试需要 3 次操作,跨越 4 个系统。

  • 稳定性要求高:在线读书平台超亿级用户,稳定性要求 5 个 9 以上。

  • 查询性能要求高:高并发场景下查询延迟需要毫秒级返回,数亿量级数据全链路多路召回需控制在 100ms 以内。

584be1eebd880e375bb566b918d60e93.png

在与业务沟通后,我们采用了如下方案,首先,他们将微调好的模型上传到腾讯 ES 的机器学习节点,然后将书籍进行入库。入库过程中,文本首先会进行分词、分段和语义切分,然后输入到机器学习节点进行数据的向量化。同时,数据还会进行基于 Lucene 的分词,分词完成后进行文本检索,向量化完成后进行向量检索。在 ES 中,用户只需一条命令即可完成文本检索和向量检索。搜索到的结果与问题相结合,拼成 Prompt 提示后发送到 LLM 大模型生成答案。这种方式大幅降低了成本,并使运维变得非常方便。

7260ef10e60eedc441a9436ce2728c34.png

腾讯云 ES 提供了一站式的 RAG 方案,具体而言,AI 问书在实现过程中,主要应用了以下能力:

  • 知识向量化:通过上传自定义的 embedding 模型到腾讯云 ES 提供的机器学习节点中,实现书籍内容与搜索词的向量化(embedding)。

  • 混合搜索:腾讯云 ES 提供了全文检索与向量检索能力,只需要简单的一条查询语句,即可从 ES 中实现混合搜索与多路召回。

  • 与大模型集成:腾讯云 ES 支持通过 API 与混元大模型进行集成,深度打通混元一站式,从 ES 召回的数据,可与 Prompt 一起送进到大模型中进行生成式整合,最终完成智能问答。

  • Kibana 调试:作为与 ES 天然集成 Web 页面,Kibana 提供了丰富的可视化能力,能帮助开发运维人员快速进行召回调试,并在 Kibana 上完成模型的部署与管理。

  • 安全高可用:腾讯云 ES 自研全链路熔断限流方案,同时支持多副本、多可用区部署,能够有效保障在线业务稳定性。

目前腾讯 ES 已在官网上公开售卖,近期将推出 RAG 一站式服务的 AI 搜索,帮助用户直接使用一整套方案。欢迎大家试用腾讯 ES,感谢大家的关注。

07.

Q&A

Huang Guohang

Q:在做文本检索时会使用既有向量又有关键词的混合检索,混合检索会得到多种类型的结果,请问如何对这些结果进行重排序来选出其中高价值的结果。

A:对于多路召回的结果第一块是一个前面介绍过的倒数排序的融合,它主要对多路的结果进行融合,例如这个例子中有两路结果,基于每一路的排名结果对最终结果进行融合。另一种是重排模型(Reranker),例如利用 LLM 大模型提供的功能对结果进行重排。

以上就是本次分享的内容,谢谢大家。

END

关注腾讯云大数据╳探索数据的无限可能

bf448928901188e0619434168c5f4be4.png

⏬点击阅读原文

了解更多产品详情

outside_default.png

我知道你在看哟

f1749974e12391d6c1cf39ceadc8547f.jpeg

2024 通用人工智能RAG大会实践资料(脱敏)PPT合集(22份) 1、2024 Agent+RAG:基于大模型的融合应用探索(八大案例,共146页).pdf。20、构建企业高价值场景的AI应用:RAG、数值计算与推理的技术实践.pdf。5、云数据仓库ByteHouse架构下的RAG技术实践与性能优化.pdf。13、下一代RAG:tidb.ai使用知识图谱增强RAG能力.pdf。12、基于RAG&Agent技术的混元大模型业务落地实践.pdf。3、企业大模型RAG在医疗健康领域的优化实践.pdf。18、RAG标准和腾讯云ES的技术实践.pdf。 阅读详情

相关推荐

Unity手游优化实战:用GPU Instancing把草地渲染的DrawCall从8000降到20(附完整Shader)

本文详细介绍了Unity手游中利用GPU Instancing技术优化草地渲染的实战方法,将DrawCall从8000降至20。通过Shader改造和性能优化技巧,开发者可以在移动端实现高效渲染,显著提升游戏性能。文章包含完整的Shader代码和优化策略,适合Unity开发者学习应用。

weixin_33691817的博客 489

行业落地分享:腾讯混元RAG/Agent落地实践

腾讯大模型广泛应用于内容生成、理解、智能客服、开发辅助、角色扮演、文本创作、审核、知识问答、代码评审、自动化测试、数字人互动、游戏NPC对话、情感分析、文案辅助、安全检测、文档处理等场景,服务于视频号、腾讯新闻、王者荣耀、企业微信、QQ、腾讯文档、腾讯云、腾讯广告等多个腾讯产品,以提升内容互动、用户体验和工作效率。

python1222_的博客 1284

告别手动改图!用Python+PyWin32驱动SolidWorks,实现参数自动化修改(保姆级避坑指南)

本文详细介绍了如何利用Python和PyWin32驱动SolidWorks实现参数自动化修改,提供从环境配置到API连接的工业级解决方案。通过实战案例和避坑指南,帮助工程师高效搭建自动化脚本工作流,显著提升设计效率。

weixin_30614109的博客 743

拆解腾讯开源知识库WeKnora学RAG:分片策略详解

在RAG(检索增强生成)知识库系统开发中,我们知道文档解析质量、分片策略、嵌入模型、召回策略、重排模型、查询优化等等这些影响了`检索召回率`和最终问答的质量。

Python_cocola的博客 399

告别水印!Vue3项目集成Stimulsoft.Reports.js完整配置与激活指南

本文详细介绍了如何在Vue3项目中集成Stimulsoft.Reports.js,提供从授权策略到性能优化的完整解决方案。通过模块化架构设计和现代化引入方式,帮助开发者高效实现专业级报表功能,同时避免版权风险和水印问题,特别适合中小型项目需求。

weixin_33701294的博客 431

YOLO算法:关于目标检测算法的基本介绍(小白入门必读)

目标检测算法是一种计算机视觉算法,用于在图像或视频中识别和定位特定的目标物体。本节课就给大家重点介绍下基于深度学习的目标检测算法!

小哥谈 2525

深度解析WeKnora,腾讯开源RAG框架如何重塑复杂文档的智能处理生态

腾讯开源WeKnora:大模型驱动的智能文档管理新范式 针对企业文档管理中的复杂检索难题,腾讯推出开源RAG框架WeKnora,通过五层模块化架构实现文档的智能解析与语义理解。该系统创新性地融合多模态处理(支持文本、表格、图片等)、自适应分块技术和知识图谱构建,显著提升文档检索准确率至89%。v0.2.0版本新增ReACT Agent机制,支持任务拆解与工具调用,以及FAQ/文档双模式知识库,满足不同业务场景需求。测试显示,其文档解析效率较传统工具提升300%,尤其擅长处理100页以上的技术手册、科研论文等

小程故事多的博客 3019

28、基于图像快速序列视觉呈现(RSVP)的脑机接口特征提取与分类算法综述

本文综述了基于图像快速序列视觉呈现(RSVP)的脑机接口(BCI)中的特征提取与分类算法。RSVP技术通过快速连续呈现图像序列,结合脑电图(EEG)信号分析,实现对目标图像的识别和标记。文章详细介绍了RSVP实验的设计、EEG数据的采集与预处理,并探讨了低信噪比、维度灾难、重叠epoch和不平衡数据集等挑战。针对特征提取,讨论了有监督空间滤波方法(如CSP、xDAWN、LDA波束形成器)的原理和应用。在分类策略部分,涵盖了线性分类技术(如LDA、BLR、LR、SVM)和非线性分类方法(如MLP、CNN)。文

hh234的博客 337

基于腾讯云ES混合搜索与DeepSeek,十分钟构建RAG 应用

点击蓝字⬆ 关注我们本文共计1669字 预计阅读时长6分钟随着数据智能技术的不断发展,以大语言模型(LLM)驱动的AIGC为代表的内容生成技术已经成为企业数据智能能力中不可或缺的一部分,但传统的内容生成技术存在信息更新不及时、垂直领域知识匮乏、模型幻觉等问题,如何推进大模型在各行业、各业务场景落地是各方普遍关注的问题,而检索增强生成(Retrieval-Augmented Generation,R...

cloudbigdata的博客 2587

【实战篇导读】四足机器人运动控制导读

认知有限,望大家多多包涵,有什么问题也希望能够与大家多交流,共同成长!本文先对四足机器人运动运动控制系统及相关算法做个简单的介绍,具体内容后续再更,其他模块可以参考去我其他文章主要介绍了波士顿spot机器人的发展历史、四足机器人的硬件系统及电机执行器组成包括硬件系统、关节电机执行器,机载传感器机处理器及电气连接等。概述了四足机器人规划控制、感知、定位及局部地图的相关算法方向。

qq_35635374的博客 679

物联网设备数据是如何流转的:基于EMQX与TDengine的前后端分离项目实践

背景 在我写了TDengine极简实战:从采集到入库,从前端到后端,体验物联网设备数据流转这篇文章后,不少读者朋友评论、私信说可不可以提供代码参考学习下,那必须是可以的。那篇文章主要介绍了数据采集、数据传输、数据转发、数据解析、数据存储、数据查询、数据呈现、数据导出、消息推送的物联网设备数据流程过程,作为体验 TDengine 的极简实战项目,没引入过多的业务设计(复杂功能)以及异步解耦设计(消息中间件)。 在整理代码的过程中,我发现虽然整个项目并不复杂,但是涉及到的技术点较多,有必要对关键的组件进行说明

Heartsuit的博客 9412

基于腾讯云ES混合搜索与TI-ONE部署DeepSeek,快速构建RAG应用

点击蓝字⬆ 关注我们本文共计2083字 预计阅读时长7分钟什么是RAG?随着数据智能技术的不断发展,以大语言模型(LLM)驱动的AIGC为代表的内容生成技术已经成为企业数据智能能力中不可或缺的一部分。但在实践过程中,LLM(例如ChatGPT)仍存在不少问题,例如信息更新不及时、垂直领域知识匮乏,且可能产生“幻觉”(即生成不准确的内容)等问题。检索增强生成(Retrieval-Augmented ...

cloudbigdata的博客 1591

2025年09月中国电子学会青少年软件编程(Python)等级考试试卷(一级)答案 + 解析

2025年09月中国电子学会青少年软件编程(Python)等级考试试卷(一级)答案 + 解析

伶俐角少儿编程 639

【腾讯云ES×AI实战】告别复杂!在一个技术栈内,基于混合搜索快速搭建RAG

腾讯云ES凭借其在传统PB级日志和海量搜索场景中积累的丰富经验,通过深度重构底层系统,成功地将多年的性能优化、索引构建和运营管理经验应用于RAG领域,并积极探索向量召回与传统搜索技术的融合之道,旨在充分发挥两者的优势,为用户提供更加精准、高效的搜索体验。,从原始文档解析、向量化等原子能力,到查询性能、混合排序效率、搜索结果精准度等提供了全方位的支持和优化,让搜索有了更多想象空间。在RAG中,高效精准的检索是非常关键的,混合搜索以及结构化数据支持方面的进步,有助于在知识库中找到正确信息,从而解决上述的问题。

cloudbigdata的博客 983

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

笔记软件汇总:MarkText、Notable、StackEdit、Docmost、Vditor、Notes、Arya、zyplayer-doc、JVS

概述、MarkText、Notable、StackEdit、Docmost、实战、vditor、Notes、Arya、zyplayer-doc、Zettlr、jvs、拓展、Material Design、参考。

lonelymanontheway的博客 4615

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

腾讯云向量数据库-RAG介绍

RAG结合LLM(通用大预言模型)构件基于私有文档、专业领域知识、实时信息的charbot。

lovemelovefish的博客 930

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

十倍性价比蜕变:腾讯云ES全新架构助力日志场景降本增效

本文主要解析基于腾讯云ES构建低成本、高性能、高可用日志平台所利用的核心架构和技术。基于腾讯云ES自研存算分离、读写分离、查询/IO并行化、查询裁剪等一套完整的降本增效解决方案。

cloudbigdata的博客 653

腾讯云向量数据库-RAG介绍2

嵌入技术是相似性检索的关键,它能够将数据转换为向量表示,并通过比较向量之间的相似性来实现相似性检索;embedding:将整个文本转换成实数向量的技术。将一些离散的词语和句子转换为连续的向量,可以使用数学方法来处理词语或句子,从而捕捉到文本的语义信息,文本和文本的关系信息。嵌入技术是通过将数据映射到低维空间中的向量表示,以便比较和衡量它们之间的相似性。嵌入技术在不同领域中都有广泛的应用,例如自然语言处理、计算机视觉和推荐系统等。

lovemelovefish的博客 639

三种RAG方案实测:自建知识库 vs 腾讯IMA vs Google的AI笔记本,收藏这一篇就够了!!

Deepseek-R1推出有一段时间了,其通过在线搜索回答问题的能力,在保证推理水平的同时提高了其实时性和可信度。但有些行业内的知识比较冷门,在搜索中无法找到,因此使用RAG技术的知识库,是对模型能力的一种补足。通过将检索和生成相结合,既保留了传统检索问答的可靠性,又获得了 LLM 的灵活性和自然表达能力。它能让 AI 始终基于最新的、可信的知识来回答问题,同时保持对话的流畅自然。

2401_85325397的博客 2952

一文秒懂!腾讯云ES HTTPS 集群访问通信最佳实践

作者:吴容,腾讯云Elasticsearch高级开发工程师Elasticsearch提供了多种数据访问安全的方式,如用户名密码校验、api_key等。但是依然无法保障数据传输过程中的安全性问题。而HTTPS协议,则是一种以安全为目的的HTTP通道,在HTTP的基础上通过传输加密和身份认证等机制来保障数据传输过程中的安全性。本文将基于腾讯云ES集群环境,演示Beats、Lo...

cloudbigdata的博客 1959

30天高效掌握AI大模型的系统学习计划,大模型入门到精通,收藏这篇就足够了!

2024年OpenAI吹响“大模型主导未来变革”的号角,掌握AI大模型技术已成为职业发展的关键突破口。本计划融合学习理论与实战路径,助您30天内系统掌握大模型核心技术。

2301_81940605的博客 1442

腾讯开源多模态 RAG:复杂文档秒变自建知识库,支持 API 调用

本文分享了`腾讯开源的知识库工具-WeKnora`,并进行了本地部署实测。

u010522887的专栏 2683

一文搞懂AI大模型学习路线:核心知识点 + 实战路径全解析

一文搞懂AI大模型学习路线:核心知识点 + 实战路径全解析

Android_XG的博客 1626

【腾讯云产品最佳实践】小白萌新 ES Serverless 之初体验——好用!

众所周知,云计算和五服务器架构的快速发展,越来越多的企业和个体开发者对相关的需求和使用剧增,而且 ES Serverless作为一种基于云计算的无服务器搜索引擎,以其简单、弹性和低成本而备受技术圈的关注。作为开发者,又初入无服务器领域,但是最近刚好体验了一下腾讯云的ES Serverless,被该服务深深吸引到了,也真真切切感受到了它的优势和带来的便捷,非常的不错。正好又赶上双十一采购月的“顺风车”,作为开发者肯定会采购一波云服务产品。

全沾软贱开发攻城狮 1万+

基于RAG的论文阅读助手:腾讯云大模型知识引擎 API 的开发实战

本文以解决科研人员面临的信息过载、专业术语理解困难以及阅读效率低下的难题为出发点,详细阐述了如何利用腾讯云大模型知识引擎 API 打造基于 RAG 技术的论文阅读助手。通过 RAG 技术的精准检索和智能生成能力,结合腾讯云 API 强大的自然语言处理能力和海量知识库资源,构建了一个高效、易用的智能助手。基于 RAG 的论文阅读助手具有广阔的应用前景。

Lion_Long的博客 1670
上一篇: 腾讯云发布数据智能平台TCHouse-X,面向大模型等应用提供一站式数据处理能力...
下一篇: Apache Amoro Meetup No.2:助力湖仓一体生产实践
腾讯云大数据
博客等级 码龄6年 348粉丝 218原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值