为AI革命提供高级搜索能力!腾讯云大数据ES国内首发上线8.8.1版本

ES 如何实现向量搜索【以图搜图/语义搜索】 ES 实现向量搜索的设置示例。 阅读详情

导语

为AI革命提供高级搜索能力,腾讯云Elasticsearch Service正式上线8.8.1版本!该版本特别引入了Elasticsearch Relevance Engine™(ESRE™)—— 一款强大的AI增强搜索引擎,为搜索与分析带来全新的前沿体验。

一、原生向量搜索引擎

利用Elasticsearch作为向量数据库,有效地创建、存储和搜索密集向量。其特性包括:

1)提供图索引,通过HNSW以实现高效的最近邻搜索。

a1c896736986b1eae838f53d749bd46a.png

图一

2)支持端到端的向量生成、向量索引、向量相似性比较,无需额外的平台进行向量推理。

5a8e140200a04b7d213a1eefb2b04bb7.png

图二

3)一体化的搜索体验:多路召回混合打分、Faceting聚合分析能力、基于角色的访问控制。

89d3dace6669f4fd4094c40f7c423bf8.png

图三

4)将向量存储为字节而不是浮点,同时,应用主成分分析PCA等方法来支持降低向量维度,节省存储空间。

5bdca5978e55d75c00607863522440a3.png

图四

5)持续优化的向量索引和查询性能。

00d5d180360442f54c6076f4e6df7f43.png

图五

二、全新混合排序算法

Reciprocal Rank Fusion (RRF) 混合排序算法,支持全文检索和向量搜索,让开发人员更好地优化Al搜索引擎,使其实现语义和关键字的组合查询。

5796d852aafd54d450b03285fa6d46d9.png

图六

三、自定义Transformer模型

开发人员可在 Elastic 中管理和使用自己的transformer 模型来完成各种自然语言处理任务,以适应特定的业务场景。

f9f2fe50df8328912f80a7679dc85d85.png

图七

四、Elastic训练的优化搜索模型

使用 Elastic 训练的开箱即用的 Learned Sparse Encoder机器学习模型来优化搜索,可在各种领域提供更好相关性、语义化的搜索。

ff7ea76030c4be33d3d808bfc190aabd.png

图八

五、与第三方 Transformer 模型集成,提取直观摘要

通过 API与大语言模型集成(如 OpenAl的 GPT- 3和 4),从Elasticsearch数据源中提取摘要。

6fde6529cfa480f1b9d9d8b479cf946f.png

图九

充分应用各种自然语言处理(NLP)任务和模型

ESRE™ 具备强大的自然语言处理能力,可以处理各种NLP任务和模型,使得搜索结果更加符合自然语言的语义。

77c79a661af2e18bd61564985b4c09b4.png

图十

与第三方工具集成,构建复杂的数据管道和生成式AI应用程序。与第三方工具如LangChain集成,帮助用户构建复杂的数据管道和生成式AI应用程序。

ab4dbbc4078f82adfc22fcb53b0e9fff.png

图十一

通过这次发布,我们希望能够帮助用户轻松切换到由GAI驱动的前沿搜索与分析体验中。ESRE™ 的强大功能将为您的业务提供更准确、更智能、更高效的搜索服务,助您在竞争激烈的市场中取得更大的成功。

六、如何使用?

登录腾讯云ES控制台,选择版本为8.8.1,并完成集群创建即可。

检索结果重新排序?RRF(Reciprocal Rank Fusion)介绍 在之前探索的RAG系统中,为了提升检索质量,我们通常会引入不同的检索方法进行不同的相关性检索,并最终整合所有的检索结果进行最终的排序。在这个过程中涉及到一个概念:RRF。那它是什么意思呢?它是怎样进行计算的呢?本文将帮助你理解这个概念。 阅读详情

相关推荐

o3与o4-mini实测:大模型如何实现自主数学推理

大语言模型的推理能力,正从‘提示驱动’迈向‘自主调度’——这标志着AI从语言模仿者升级为可验证、可执行、可迭代的问题求解体。其核心原理在于将思考链(Chain-of-Thought)内化为底层能力,结合符号计算、知识图谱调用与工具自治,实现对复杂数学问题(如高次多项式构造、代数簇分析)的端到端闭环求解。该能力不仅支撑数学科研协作者、代码审查机器人等高价值场景,更在工业诊断、硬件调试、学术综述等需强逻辑+多模态+可审计的工程实践中展现出生产就绪性。本文以OpenAI o3/o4-mini对欧拉问题的实测为切口

jackleechina2011212的博客 431

Elastic 发布 Elasticsearch Relevance Engine™ — 为 AI 革命提供高级搜索能力

今天我们将向大家介绍,这是一种创建高度相关的 AI 搜索应用程序的新功能。ESRE 建立在 Elastic 在搜索领域的领导地位以及超过两年的研究和开发基础之上。Elasticsearch Relevance Engine 结合了 AI 的最佳实践和 Elastic 的文本搜索。ESRE 为开发人员提供了一整套将复杂的检索算法和与大型语言模型(LLM)集成的能力。

Elastic 中国社区官方博客 3840

【异常】Dbeaver配置JDBC连接ES时提示SQL错误:current license is non-compliant for [jdbc]

通过 Dbeaver配置 JDBC连接 Elasticsearch 时,报错 current license is non-compliant for [jdbc]

奶爸的编程之路,也就一周冷个三天 6083

什么是Elasticsearch关联引擎(ESRE)?

软件开发人员越来越多地使用机器学习模型来提高呈现给用户的数据的相关性。对于使用自然语言界面的应用程序尤其如此,例如:搜索、问答、完成和聊天。Elasticsearch关联引擎(ESRE)是Elastic的一组工具,结合了机器学习模型、数据转换和存储(包括向量)以及数据搜索和检索。ESRE还包括用于数据安全的工具,以及与其他软件集成的工具,包括各种数据源和大型语言模型(LLM)。

qq_43197840的博客 650

【管理科学】第六十三篇 企业管理者招聘与人才博弈战略02

编号类型领域问题问题的数学分析(含逐步推理与数值范围)方法/手段/步骤/流程/话术/策略/行为/时序的所有内容和步骤(含数学表达式与数值分析)时序数学表达式及周期行动的数学表达式(含数值范围)关联知识和法律法规651组织博弈成本控制如何在保证质量的前提下有效控制成本?逐步推理: 1. 成本控制模型:成本每降低10%,利润可提升15%~25%。但过度降本可能影响质量和员工士气。 2. 控制效果:有效的成本控制可使利润率提升5%~10%。 3. 法律风险:需遵守劳动法和产品质量法。步骤与数学表

weixin_49199313的博客 476

开源onlyoffice编译完整过坑版

onlyoffice 编译过坑完整版;

sHImart 4551

CnOpenData 线上招聘网站信息数据

CnOpenData线上招聘网站信息数据库是一个覆盖中国主流招聘平台、时间跨度长、更新频率高的劳动力市场需求侧大数据集合。本数据库汇集了,为学术界和业界提供了一扇实时观察中国劳动力市场动态的窗口。

CnOpenData_wj的博客 2628

保姆级教程:用CANoe的LIN Slave Conformance Tester搞定一致性测试(附LDF配置避坑点)

本文详细介绍了如何使用CANoe的LIN Slave Conformance Tester进行汽车电子LIN从节点一致性测试,包括测试环境搭建、LDF文件配置、多通道测试技巧及常见问题解决方案。通过实战案例和高级配置技巧,帮助工程师高效完成测试任务,确保LIN总线通信的可靠性。

weixin_30385925的博客 525

spark-ES报错current license is non-compliant for [security]

我在使用spark写es程序运行时报错:Exception in thread “main” org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest: current license is non-compliant for [security] 我的ES集群是在云端,只设置了账号密码,我在代码中也设置了账号密码。我用spring和API开发的就可...

Curry_lee_3的博客 1343

[数据转换]将NetCDF(NC)文件转换成单个GeoTIFF文件

有时候要提取tif格式数据中的气象数据,但从气象网站上下载的却是NC格式的文件。这就需要我们将NC格式的文件转换成TIF格式的文件。

G_sea_young的博客 1004

IEC61850实战:从ICD文件解析到模型构建

本文深入解析IEC61850标准中的ICD文件结构,从Header、IED到DataTypeTemplates部分,详细介绍了如何构建电力自动化设备的数据模型。通过实战案例展示ICD文件的创建过程,并分享常见问题的调试技巧,帮助工程师快速掌握IEC61850建模方法,提升电力系统自动化项目的实施效率。

weixin_26841743的博客 496

Elasticsearch:倒数排序融合 - Reciprocal rank fusion (RRF)

倒数排序融合(RRF)是一种将具有不同相关性指标的多个结果集组合成单个结果集的方法。RRF 无需调优,不同的相关性指标也不必相互关联即可获得高质量的结果。该方法的优势在于不利用相关分数,而仅靠排名计算。相关分数存在的问题在于不同模型的分数范围差。

Elastic 中国社区官方博客 1万+

CST局部网格加密实战:从基础设置到Meshgroup高效管理

本文详细解析了CST电磁仿真软件中的局部网格加密技术,重点介绍Meshgroup功能的高效管理方法。通过平行板电容等实战案例,阐述从基础设置到多级加密策略的完整流程,帮助用户精准提升关键区域仿真精度,同时优化计算资源使用效率。

grafana6viz的博客 694

Elasticsearch许可证过期导致ES用不了的问题

Elasticsearch X-Pack许可证过期解决办法 事发原因 解决办法 事发原因 在那天下午,我写搭建ELK笔记系列博客-Kibana篇的中途,想进入kibana页面进行一些操作,进入发现ES集群和索引状态相关的收集、监控、查看的功能都将被禁用,只能进行数据的读写操作可以正常工作。然后我就查看了ES的日志,发现ES全部抛:ElasticsearchSecurityException: current license is non-compliant for [security] 异常 仔细查看

web18484626332的博客 3172

保姆级教程 | MS构建三层石墨后转成LAMMPS的data文件

喜欢的话记得一键三连~

baguette的博客 2952

Gmsh+OCC对应版本库编译

输入 GMSH_DLL_EXPORT值C:\LIB\OCCT-7_8_0-i;9、如果只是生成库文件编译gmesh工程即可生成文件在C:\LIB\Gmsh\gmsh-4.13.1-Windows64-B\Debug 下gmsh.dll、gmsh.lib、gmsh.h、gmshc.h文件;3、CMAK编译Gmsh对应OCC版本的,CMAK选择源文件路径C:\LIB\Gmsh\gmsh-4.13.1-source,生成构建文件路径C:\LIB\Gmsh\gmsh-4.13.1-Windows64-B。

u013401364的博客 412

改进 Elastic Stack 中的信息检索:混合检索 - hybrid retrieval

在中,我们介绍了 Elastic Learned Sparse Encoder,这是一种经过训练可有效进行零样本文本检索的模型。Elasticsearch® 还具有强大的词汇检索功能和丰富的工具来组合不同查询的结果。在本博客中,我们介绍了混合检索的概念,并探讨了 Elasticsearch 中可用的两种具体实现。

Elastic 中国社区官方博客 3043

基于Simulink的异步电机参数在线辨识与自适应控制仿真

本文基于Simulink平台,详细介绍了异步电机参数在线辨识与自适应控制系统的仿真实现。针对异步电机运行中参数时变问题,采用模型参考自适应系统(MRAS)实时辨识转子电阻和互感,并结合自适应PI控制策略动态调整控制器参数。通过搭建完整的矢量控制(FOC)仿真模型,验证了系统在稳态辨识、参数摄动和动态响应等工况下的性能:参数辨识误差<1.2%,转速跟踪误差<20rpm,动态响应时间<10ms。文章还提供了详细的Simulink建模步骤、核心代码实现及性能分析,为高级电机控制系统的设计与优化提

amy_mhd的博客 72

ElasticSearch:current license is non-compliant for [security]

注: 部分概念介绍来源于网络 GET /_cluster/health { "error": { "root_cause": [ { "type": "security_exception", "reason": "current license is non-compliant for [security]", "license.expired.feature": "security" } ], "t...

jsugs的博客 6719

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Elasticsearch:使用 ESRE 和生成式 AI 了解 TLS 日志错误

接下来,我们将添加一个自定义摄取管道,以便 Elastic Learned Sparse Encoder 可以将 token 添加到发送到 Elastic 的文档中。这是语义搜索所必需的 —— 请对此进行深入研究。很酷的是我们可以在文档中看到 token,这让你直观地了解其工作原理。管道步骤首先将日志消息复制到 text_field 字段中,因为这是模型查找所需数据的地方。通过推理步骤,它会将日志消息文本转换为 token 权重对的列表,该列表存储在 ml.tokens 字段中。

Elastic 中国社区官方博客 1715

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

ES证书过期,错误信息: current license is non-compliant for [security]

直接请求es: curl -XPOST “http://132.xxx.xxx.5:31202/_license/start_basic?acknowledge=true”es日志报错信息:current license is non-compliant for [security]ES的X-pack许可证是提供免费一个月的试用,但是到期之后,就会报这个错误。问题,到一定时间以后,依然会出现证书过期的错误,到时候依然需要。执行以上命令来保证es正常运行。

qq_44209563的博客 1717

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

详解混合检索中 RPF 排序算法(Reciprocal Rank Fusion)

RPF(Reciprocal Rank Fusion)排序算法作为一种高效的结果融合方法,能够有效整合多个检索系统的输出,生成更优的排序结果

分享实践与思考 1523

Elasticsearch Relevance Engine---为AI变革提供高级搜索能力[ES向量搜索、常用配置参数、聚合功能等详解]

Elasticsearch Relevance Engine---为AI变革提供高级搜索能力[ES向量搜索、常用配置参数、聚合功能等详解]

丨汀、的博客 1643

Elasticsearch:倒数排序融合 - Reciprocal rank fusion - 8.14

此功能处于技术预览阶段,可能会在未来版本中更改或删除。语法可能会在正式发布之前发生变化。Elastic 将努力修复任何问题,但技术预览中的功能不受官方正式发布功能的支持 SLA 约束。倒数排序融合 (reciprocal rank fusion - RRF) 是一种将具有不同相关性指标的多个结果集组合成单个结果集的方法。RRF 无需调整,并且不同的相关性指标不必相互关联即可获得高质量的结果。:在今天的文章中,RFF 有别于之前版本。这个描述是从 8.14.0 开始的。在这个版本之前,请参阅 “

Elastic 中国社区官方博客 3488

Elastic 推出 Elastic AI 助手

Elastic® 推出了 Elastic AI Assistant,这是一款由的开放式、生成式 AI 助手,旨在使网络安全民主化并支持各种技能水平的用户。最近发布的™ (ESRE™) 提供了用于创建高度相关的 AI 搜索应用程序的新功能。ESRE 建立在两年多的重点机器学习研究和开发之上,这得益于 Elastic 在搜索用例中的领导作用。ESRE 将 AI 的精华与 Elastic 的文本搜索相结合,为开发人员提供了一整套复杂的检索算法以及与大型语言模型 (LLM) 集成的能力。

Elastic 中国社区官方博客 4084

ES作为向量库研究

相比专门的向量库,ES作为向量库有它自己的优点,比如可以方便的使用全文检索及混合检索。当然,性能和数据规模方面可能有所不如,不过,对于中等规模的应用,倒不是太大的问题。

tlxamulet的博客 503
上一篇: E往无前|腾讯云大数据ES索引原理剖析及写入性能优化最佳实践
下一篇: 赛迪顾问发布最新中国大数据市场报告,腾讯云稳居领导者行列
腾讯云大数据
博客等级 码龄6年 348粉丝 218原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值