腾讯云ES再进化,新特性「智能搜索开发」助力LLM应用落地

Elasticsearch搜索功能的实现——实战篇 本文主要使用目前较新版本elastic search 8.5.0 + kibna 8.5.0 + springboot 3.0.2 + spring data elasticsearch 5.0.2 + jdk 17 进行搜索功能的开发。 阅读详情

点击蓝字⬆ 关注我们

本文共计1760字 预计阅读时长6分钟

家人们,这次上新可太让人惊喜啦!

腾讯云Elasticsearch(ES)带着全新技能包——「智能搜索开发」闪亮登场,以AI搜索增强版内核为底座,进一步优化了对全文与向量混合搜索的能力支持,从原始文档解析、向量化等原子能力,到查询性能、混合排序效率、搜索结果精准度等提供了全方位的支持和优化,让搜索有了更多想象空间。在此基础上,还可以与混元、DeepSeek等大语言模型无缝集成,从而帮助企业进一步高效、灵活的构建知识问答等RAG应用。

划重点!这次升级主打优势:

混合搜索增强:基于自主研发的文本+向量混合搜索引擎架构,自定义多路召回策略与重排序模型,依托深度优化的底层内核实现查询延时、并发及实时排序全面性能优化,结合多种联网引擎信息采集,让搜索结果精确度起飞。

开发各环节可介入:针对混合搜索或RAG场景,从原始文档解析到返回搜索结果或答案生成,支持客户依据业务需求灵活选择或切换原子服务来优化整体效果,一个技术栈搞定全链路,轻松应对复杂多样的应用搭建和调优。

向量存储与优化:围绕向量存储、索引构成、读写流程、量化等核心技术环节,自研向量裁剪能力,支持去除向量行存以及原始高位向量,大幅节省磁盘空间。

如下是针对这三大优势的详细介绍:

01

搜索增强:全文+向量混合搜索,搜索结果更精准多样

我们都知道,向量搜索优势在于处理模糊表达、捕捉语义、支持跨文本&跨语言&跨模态,文本搜索优势在于短文本精准匹配强、计算成本低、可解释性及调优性强。混合搜索则结合了全文搜索和向量搜索技术的优势:

  • 更精准:同时利用关键词检索和向量搜索对数据进行查询,提高检索的准确性和可信度。

  • 更多样:利用向量检索的多样性,返回多种不同的检索结果,提供更多的选择和信息,满足不同的用户查询需求和偏好。

  • 更强大:利用关键词检索的逻辑运算、排序、过滤等功能,实现更复杂的查询需求。如包含多个条件、多个字段、多个排序规则等的查询,这可以提高检索的功能和灵活性。

  • 更可解释:利用关键词检索的文本匹配和高亮显示,实现更可解释的检索结果。如显示查询语句和文档的匹配程度、匹配位置、匹配内容等,这可以提高用户对检索结果的理解和满意度。

与此同时,腾讯云ES本身支持常用的中文分词,如IK 分词、QQ分词,同时支持用户上传自定义插件,在内核层面,针对典型向量场景特点做了深度优化,例如分片架构优化,查询并行化,lucene查询缓存锁改造等,10亿级向量检索平均响应延迟控制在毫秒级,整体查询性能提升3 - 10倍,极大程度的提升了混合搜索的效率。

02

灵活开发:集成多种原子服务,全链路可介入调优

还在手动给文档分段落、标关键词?传统数据预处理堪比“愚公移山”,不同格式,不同排版,费时又容易遗漏重点。还在为Embedding、Rerank选型烦恼?AI搜索或 RAG涉及环节众多,牵一发而动全身,如何快速验证端到端效果最佳?

腾讯云ES为此做了以下努力:

  • 深度融合LKE文档解析引擎(优图实验室自研),支持PDF、Word、PPT等超20类文档解析。

  • 基于LLM的多级语义切分技术,实现「上下文连贯切片」,避免信息碎片化。

  • 支持一系列经典的Bge Embedding/Rerank模型,同时加持腾讯自研Conan和KaLM模型。

  • 无缝调用DeepSeek和混元系列大模型,同时配备Sogou/Bing/Baidu联网搜索,并支持指定域名联合查询。

为了进一步提升易用性,腾讯云ES还在内核层面集成Inference API,简单一行配置,即可切换不同模型进行推理服务,在一条DSL完成检索生成。

03

向量优化:行存裁剪+量化裁剪+多策略融合排序

除了本身Elastic官方在向量搜索上的大幅优化动作外,腾讯云ES还自研了一个全新的插件 —— v-pack插件,旨在通过给“数据瘦身”+“多策略排序”组合拳,在降低成本的同时提供更加丰富、强大的向量能力。

v-pack插件动态裁剪行存中的冗余向量,相比传统ES把向量数据同时塞进行存和列存,可无损压缩70%+存储。同时在行存裁剪基础上,首创int8_only_hnsw索引,把高精度向量“脱水”成int8格式存储,存储进一步节省90%!

更妙的是,在重排序策略上,支持权重可调RRF、归一化Score以及调用GPU Rerank模型服务,无论是关键词与语义之间的平衡,还是对可解释性、准召率要求较高的场景,都能介入调优。

现在上车,

解锁智能搜索开发新姿势!

作为国内领先的企业级文本和向量搜索引擎,以及首个端到端RAG技术标准制定者和测评者(信通院权威认证),腾讯云ES在AI 快速发展的潮流下,已成功助力微信读书「AI问书」、ima(智能工作台)、腾讯会议智能助手等顶流应用落地,帮助到这些产品的文本和向量混合检索能力,助力RAG应用搭建,支持了数十亿向量规模的同时达到毫秒级响应性能。未来我们也将持续打磨全链路智能搜索开发能力,协助企业高效、灵活的打造更多优秀的AI搜索应用。

(示例:微信读书“AI 问书”)

腾讯云大数据始终致力于为各行业客户提供轻快、易用,智能的大数据平台。

点击阅读原文,开启智能搜索开发新范式

END

关注腾讯云大数据╳探索数据的无限可能

⏬点击阅读原文

了解更多产品详情

分享给认识的人吧

ElasticSearch——全文搜索引擎 一、为什么需要全文搜索引擎? 首先先来了解一个概念,在我们生活中一般来说有两种数据:结构化数据、非结构化数据 结构化数据:指具有固定格式或有限长度的数据,如数据库,元数据等。 非结构化数据: 非结构化数据又可称为全文数据,指不定长或无固定格式的数据,如邮件,word文档等。 对于结构化数据我们可以直接从数据库查询,而对于非结构化的数据此时就要用到全文检索的方式查询,比如对一个文档或者网页中的内容文本每个词建立一个索引,把这些非结构化的变成结构化的方式然后来查询。 全文搜索引擎百度百科定义:全文搜索引擎是目前 阅读详情

相关推荐

手把手部署 Elasticsearch :打造你的 RAG 向量数据库底座

本文将以Elasticsearch 8.15.0为例,从目录规划到插件配置,手把手带你完成生产级部署 —— 无论是单节点测试环境,还是多节点集群,都能快速上手;特别针对 RAG 场景优化了分词器配置与权限管理,确保后续向量入库、语义检索环节稳定高效。跟着操作,10 分钟内即可搭建好你的 RAG 向量底座!在大模型与知识库结合的浪潮中,RAG(检索增强生成)技术凭借其精准匹配、可控输出的特性,已成为落地场景中的 “刚需”。

欢迎来到我的博客 1309

腾讯云ES RAG最佳实践:向量+文本混合搜索的相关性调优

‍‍| 导语腾讯云ES近期上线的8.8.1版本,提供了强大的云端AI增强能力,支持在统一技术栈中完成文本+向量的混合搜索,实现自然语言处理以及与大模型的集成,本文将从向量检索的优势与局限性介绍出发,说明混合搜索的原理、优势及其必要性,并通过效果演示为大家呈现腾讯云ES混合搜索的强大能力。引言我们在上一篇文章《腾讯云ES RAG最佳实践:百行代码轻松实现ES帮助文档的智能问答》中给大家介绍了如何通...

cloudbigdata的博客 2468

【解决方案】RAG理论:ES混合搜索BM25+kNN(cosine)以及归一化

(1)ES中如何通过BM25计算关键词搜索分数; (2)kNN如何通过consine计算语义/向量搜索**最终**分数,不是直接使用consine距离; (3)**混合搜索最终得分**是如何计算的,如何进行归一化优化。

天然玩家的博客 2608

腾讯云ES RAG最佳实践:百行代码轻松实现帮助文档的智能问答

导读腾讯云大数据Elasticsearch Service首发上线ES 8.8.1版本,提供强大的云端AI增强与向量检索能力,支持在端到端搜索与分析平台中实现自然语言处理、向量搜索以及与大模型的集成,10亿级向量检索平均响应延迟控制在毫秒级,助力客户实现由AI驱动的高级搜索能力,为搜索与分析带来全新的前沿体验。本文将结合腾讯云ES与ChatGPT,演示如何通过百行代码轻松实现ES帮助文档的智...

cloudbigdata的博客 1031

从特斯拉到蔚来:拆解主流智能汽车的车联网架构,看它们如何实现‘车、路、云’协同

本文深度解析了特斯拉、蔚来等主流智能汽车的车联网架构,详细拆解了其‘车、路、云’协同的技术实现。从车内网络、车际通信到云端协同,分析了通信技术、系统架构等关键技术选择,揭示了不同厂商如何通过差异化布局构建竞争优势。

weixin_42525289的博客 580

Pixel 4/4 XL 刷机小白必看:Magisk Root 全流程详解(附电信网络适配技巧)

本文为Pixel 4/4 XL用户提供了一份详尽的Magisk Root全流程指南。从解锁Bootloader、刷入Magisk,到解决电信网络VoLTE适配问题,再到隐藏Root以通过银行App检测,手把手教你安全获取系统最高权限并优化日常使用体验。

weixin_29310605的博客 265

哈啰:构建智能出行RAG,ES还是向量数据库?

在2024年的Inclusion·外滩大会上,哈啰集团宣布已经构建了全面的AI布局,以迎接大模型时代的到来。如同一匹黑马,哈啰在智能时代脱颖而出,其服务版图从最初的单车扩张到如今的本地出行及生活服务平台。在技术探索的征途上,哈啰通过构建基于向量数据库的RAG(Retrieval-Augmented Generation)应用,不断强化业务效能。大模型应用,如海螺机器人、交易机器人、光子引擎、贾维斯幻视大模型平台等,均已实现落地应用,不仅能够有效提升内部效能和客户体验,也推动了整个行业的数字化转型和智能化升级

m0_59235945的博客 2360

开源人形机器人硬件生态:关键技术、产业链与低成本突破 | OpenLoong 社区线下分享会

本文将深入探讨人形机器人硬件平台的关键技术、产业链与核心部件以及降低成本的策略。从硬件平台的核心技术,到机器人核心零部件的详细介绍,再到产业链各环节的协同发展以及实现低成本化的创新思路,将一同剖析人形机器人迈向广泛应用所面临的挑战与机遇,展望其未来的发展趋势,为开发者和相关从业者提供一些参考与启示。

OpenLoong_的博客 2420

【原创】使用ElasticSearch存储向量实现大模型RAG

检索增强生成(Retrieval-Augmented Generation,RAG)已成为大型语言模型(LLM)应用的重要架构,通过结合外部知识库来增强模型的回答能力,特别是在处理专业领域知识、最新信息或企业私有数据时。本报告将系统梳理使用 Elasticsearch(ES)作为向量数据库实现 RAG 系统的优缺点,与传统向量数据库及其他存储解决方案的对比,以及基于 Deepseek V3 和 Qwen2.5 大模型的实现方案。多层图结构:HNSW 构建一个多层的图结构,顶层包含少量节点,底层包含所有节点。

heiyeluren的blog(黑夜路人的开源世界) 4588

三极管NPN与PNP的工作原理及快速识别技巧

本文深入浅出地解析了三极管NPN与PNP的核心工作原理。通过“水龙头”比喻,阐明其以小电流控制大电流的放大与开关本质。文章重点对比了NPN与PNP在电流方向、电位关系和控制逻辑上的根本区别,并提供了快速识别技巧与实用的选型、应用指南,帮助电子爱好者与工程师快速掌握这两种基础元件的关键知识。

neovim7hacker的博客 454

注意力机制模块:CVPR 2026 新宠:MLLA(多尺度线性注意力)即插即用,在 YOLO 和 ConvNeXt 上全面涨点

MLLA核心创新点与实践价值摘要(146字) 清华大学LeapLab团队通过解构Mamba模型,发现其核心优势源于遗忘门机制与块设计,而非传统SSM架构。基于此提出的MLLA模块创新性地将这两项设计融入线性注意力框架:1)用位置编码替代循环计算保留遗忘门的位置感知能力;2)通过门控投影+DWConv+MLP重构高效块结构。在COCO检测任务中,MLLA使小目标AP提升11.6%而仅损失6%FPS,支持ONNX/TensorRT全链路部署,代码已开源。该工作为高分辨率视觉任务提供了近乎零代价的性能提升方案。

ZXSXJ的博客 155

基于ES8的RAG

RAG全称是索引增强生成(Retrieval Argumented Generation)它是使用自己的私人知识库或外部数据源来辅助文本生成的技术。RAG是将检索模型和生成模型结合到一起的一个技术。通过更多的数据源来增强对LLM的输入,RGA能提升搜索体验的相关性。在改善了LLM的输出的同时,又不需要重新训练LLM。

weixin_45352653的博客 1114

在 RAP 中把业务对象“搬到网口上”:service definition 与 service binding 的全流程、范式与实战

本文解析了SAP ABAP开发中service definition和service binding的关键作用。service definition负责选择要暴露的CDS实体和行为,形成服务模型;而service binding则将服务绑定到具体协议(如OData),生成可访问的端点。两者分离带来三大优势:支持同一模型多重发布、降低环境迁移耦合度、强化安全治理。文章通过预订业务对象的端到端示例,展示了如何从CDS建模到生成Fiori Elements预览。最后以售后工单业务为例,说明这种架构如何支持内外服务

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 390

RAG 实践:腾讯云ES&混元,十分钟构建你的专属 AI 助手

背景概述随着数据智能技术的不断发展,以大语言模型(LLM)驱动的 AIGC 为代表的内容生成技术已经成为企业数据智能能力中不可或缺的一部分,但传统的内容生成技术存在信息更新不及时、垂直领域知识匮乏、模型幻觉等问题,如何推进大模型在各行业、各业务场景落地是各方普遍关注的问题,而检索增强生成(Retrieval-Augmented Generation,RAG)技术则为此提供了有效的解决方案,成为数据...

cloudbigdata的博客 1184

lammps案例:堆垛层错能的计算

大家好,我是小马老师。 本文介绍如何使用lammps计算晶体的堆垛层错能。 正常晶体中的原子按照一定的规律排列,原子面按ABCABC……的顺序排列,如下图所示: 当某个原子面被抽出后会形成堆垛层错,如图中的蓝色原子层被抽出,原子面排列变为ABCBCA……: 可通过计算堆垛层错能形成前后的能量差计算堆垛层错能,计算公式为: E0为初始能量 Ef为删除一个原子面后的能量 A为界面面积 下面分享一个lammps计算堆垛层错能的in代码,本代码由Richard Glaze完成,本文稍作修改并进行了注释,以供初

lammps_jiayou的博客 5435

PyTorch生成式人工智能(3)——使用PyTorch构建神经网络

在本节中,我们使用 PyTorch 在简单数据集上构建了一个神经网络,训练神经网络来映射输入和输出,并通过执行反向传播来更新权重值以最小化损失值,并利用 Sequential 类简化网络构建过程;介绍了获取网络中间值的常用方法,以及如何使用 save、load 方法保存和加载模型,以避免再次训练模型。

盼小辉丶的博客 1万+

使用Elasticsearch和AI实现智能检索

通过结合使用Elasticsearch和AI,我们实现了一个功能强大的自查询检索器。这不仅提高了检索的效率,还增强了数据的可发现性。Elasticsearch官方文档OpenAI API文档LangChain项目。

ppoojjj的博客 930

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Elasticsearch:智能 RAG,获取周围分块(二)

在之前的文章 “Elasticsearch:智能 RAG,获取周围分块(一)” 里,它介绍了如何实现智能 RAG,获取周围分块。在那个文章里有一个 notebook。为了方便在本地部署的开发者能够顺利的运行那里的 notebook。在本篇文章里,我来详述如何进行配置。

Elastic 中国社区官方博客 1655

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

如何使用ElasticSearch搭建LLM-RAG系统

在之前的案例视频中我们演示了使用Milvus向量数据库和腾讯向量数据库实现RAG的场景应用。今天我们演示下利用ES的向量数据存储能力来实现RAG,包括三个部分:连接ES数据库并建表;数据写入ES向量数据库流程;问答对话流程。具体操作可参照下面的视频:《玩转数据之使用ElasticSearch搭建RAG》

colorknight的专栏 2916

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

ES(ElaticSearch)详解(含工作原理、基本知识、常见问题和优化方法)

本文对 ElaticSearch 的工作原理、基本知识、常见问题和优化方法做了详细的解释

青灯文案的博客 1万+

RAG最佳实践:用 ElasticSearch 打造AI搜索系统与RAG 应用全流程详解!

AI 对话式搜索是一种基于自然语言处理(NLP)和机器学习技术的搜索方式,旨在通过与用户的自然对话实现信息检索。这种搜索模式允许用户以自然语言提问,而不是输入特定的关键词。AI 对话式搜索系统可以理解用户的查询意图,并通过智能匹配算法提供相关的答案或信息。这种搜索体验更加贴近人类的交流方式,使搜索过程更加直观和用户友好,特别适用于需要复杂查询或个性化推荐的场景。接下来,我们将深入探讨如何构建这样的 AI 对话式搜索应用程序,从数据准备、模型选择到系统集成,逐步展示实现这一技术的不同步骤。

2401_85375298的博客 1715

大模型RAG实战|向量数据库:Elasticsearch实现混合检索(附完整代码)

大模型RAG实战系列文章,带你深入探索使用LlamaIndex框架,构建本地大模型知识库问答系统。本系列涵盖知识库管理、检索优化、模型本地部署等主题,通过代码与实例,讲解如何打造生产级系统,实现本地知识库的快速检索与智能问答。当时,我们采用的向量数据库是,作为LlamaIndex中的向量存储(Vector Store)。Chroma是一个非常简单易用的嵌入式向量数据库,在开发和测试场景非常受欢迎。

m0_59164304的博客 4384

6.es新特性Promise, async/await

Async/Await 是 ES2017(ES8)引入的语法糖,基于 Promise 实现,用于简化异步代码的编写。是 Promise 的静态方法,用于将任意值(包括 Promise、thenable 对象或普通值)转换为 ​。Promise 是 ES6 (2015) 引入的异步编程解决方案,用于替代传统的回调函数模式,解决。其核心作用是统一异步操作的入口,简化 Promise 的创建流程。会将其包装为已解决的 Promise,但实际状态仍为拒绝。直接返回该 Promise 的引用,​。

chxii的专栏 1646

Elasticsearch 打造 RAG 检索增强系统

本文介绍了一个基于开源组件的本地RAG(检索增强生成)系统部署方案,使用Elasticsearch 9.3.0在Ubuntu系统上实现文本向量嵌入、混合搜索和结果重排序的全流程。系统采用Sentence-BERT生成向量,ES原生重排序功能优化结果,Llama 3 8B模型生成回答。部署过程包括:调整Ubuntu系统参数(文件描述符、虚拟内存)、安装JDK 17、配置Elasticsearch(内存设置、安全认证等)、创建专用用户启动ES服务。该方案无需高性能硬件,普通PC即可运行,所有组件均为开源免费,适

海兰 1178

Elasticsearch 混合检索优化大模型 RAG 任务

Elastic 社区在自然语言处理上面做的很不错官方博客更新速度也很快,现阶段大模型的应用场景主要在 Rag 和 Agent 上,国内 Rag(Retrieval-Augmented Generation 检索增强生成) 的尤其多,而搜索对于 Elasticsearch 来说是强项特别是 8.9 之后的版本提供了 ESRE 模块(集成了高级相关性排序如 BM25f、强大的矢量数据库、自然语言处理技术、与第三方模型如 GPT-3 和 GPT-4 的集成,并支持开发者自定义模型与应用),经过我的各种尝试在 El

这个人很懒什么都没有~ 3562

elasticsearch的智能搜索建议suggester

我们在使用搜索栏的时候,会自动补全或者纠错 这样的功能在es中可以使用Suggesters API。 Elasticsearch里设计了4种类别的Suggester Term Suggester 准备索引库创建索引 PUT /chatting/ { "mappings": { "properties": { "body": { "type": "text" } } } } POST _bulk/?refresh=true {"index":

weixin_41029286的博客 700
上一篇: 重磅!腾讯智能工作台ima,获信通院AI大模型应用精选案例奖
下一篇: 腾讯五大协同办公产品AI升级:从单点提效迈向全流程智能
腾讯云大数据
博客等级 码龄6年 348粉丝 218原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值