Elastic 中国社区官方博客

关于 Elastic Stack 及相关的任何技术

  • 博客(2592)
  • 资源 (9)
  • 收藏
  • 关注

原创 Elastic 线下 Meetup 将于 2026 年 1 月 10 号下午在北京举行

2026年ElasticMeetup北京站将于1月10日在腾讯北京总部举办。活动邀请Elastic、腾讯及新智锦绣专家分享前沿技术,包括Elasticsearch向量搜索与AI应用、MCP超级大脑在智能运维中的实践、腾讯云ES的AI能力建设,以及搜索范式从排序到过滤的转变等主题。现场提供茶歇交流机会,并有抽奖环节。报名需实名登记,成功报名后需联系工作人员获取访客码。活动详情及报名链接:https://elastic.huodongxing.com/event/5835577361800

2025-11-24 07:53:17 617

原创 Elastic 线下 Meetup 将于 2025 年 12 月 6 号下午在西安举行

2025年ElasticMeetup成都站将于12月6日在西安阿里巴巴C1栋举办,聚焦AI搜索技术前沿。活动邀请Elastic社区布道师刘晓国、言古科技王传健、阿里云张粲宇等专家,分享向量搜索、多模态知识库构建、AI搜索趋势等议题。包含主题演讲、茶歇交流及抽奖环节,需提前报名并实名入场。报名链接:https://8181722436173.huodongxing.com/event/8831089715600。

2025-10-20 13:46:50 2606 2

原创 Elastic:如何成为一名 Elastic 认证工程师,Elastic 认证分析师及 Elastic 认证可观测性工程师

Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计,Elasticsearch 雄踞排行榜第一名,并且市场还在不断地扩大:能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证,在业界也得到了很高的认知度。得到认证的工程师,必须除了具有丰富的 Elastic Stack 知识,而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书,也代表了个人及公司的荣誉。针对个人的好处是,你可以..

2020-10-28 11:54:13 26598 19

原创 Elastic:开发者上手指南

你们好,我是Elastic的刘晓国。如果大家想开始学习Elastic的话,那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里,我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习:1)Elasticsearch简介:对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster,n..........................................................

2020-02-25 20:01:55 168315 103

原创 Elastic:培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全

在这篇文章中,我将会把我写的有些内容录制成视频,供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装:优酷,腾讯 Elastic Stack docker 部署:优酷,腾讯 Elasticsearch中的一些重要概念(Cluster/Shards/Replica/Document/Type/Index):优酷,腾讯 开始使用El...............

2020-01-06 15:31:54 18269 12

原创 Elasticsearch 简介

Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时,Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起,就形成了 ELK软件栈。他们三个共同形成了一个强大的...

2019-08-08 16:04:31 175531 32

原创 Elastic AI agent builder 介绍(四)

本文介绍了如何在Python应用中访问Elastic AI Agent Builder创建的agents。主要内容包括:1) 环境配置,需设置.env文件包含ES_AGENT_URL、ES_API_KEY和AGENT_ID;2) 示例代码展示如何通过A2ACardResolver和A2AAgent类连接并调用agent;3) 支持中英文查询机票价格信息;4) 提供了基于Gradio的Web界面实现方案。文章还给出了完整的代码仓库地址和运行方法,帮助开发者快速集成AI agent功能到自己的应用中。

2025-11-24 14:29:27 567

原创 开始使用 Elastic Agent Builder 和 Microsoft Agent Framework

Elastic 9.2推出AgentBuilder技术预览版,帮助开发者快速创建基于Elasticsearch数据的AI工具和代理。本文演示了完整流程:首先创建Elastic项目并添加数据索引,然后通过AgentBuilder开发工具和代理,最后使用Microsoft Agent Framework的A2A协议调用该代理。整个过程包括创建索引、构建工具、配置代理指令,并通过Python示例展示了如何将Elastic代理集成到外部应用中。该功能使开发者能快速构建具有专业数据能力的AI代理,并支持与其他开发框架

2025-11-23 16:38:08 658

原创 你知道,对于上下文 — 部分 III:混合搜索在上下文工程中的力量

本文探讨了如何通过混合搜索和上下文工程技术提升AI输出的准确性。Elasticsearch平台结合了关键词搜索与向量相似性搜索的优势,并引入聚合、非内容信号和RBAC安全机制,为RAG和Agentic AI提供精准的上下文检索。文章指出,搜索正从显性转向由AI工具在后台执行,强调需要通过混合搜索、访问控制和上下文优化来确保AI获取的信息符合用户意图。Elastic平台的安全特性和即将推出的工作流集成,使其成为构建可信AI系统的理想选择,能够有效管理长期/短期记忆并提升响应一致性。

2025-11-21 10:55:06 1051

原创 你的第一个 Elastic Agent:从单个查询到 AI 驱动的聊天(二)

本文详细介绍了如何在本地部署的Elastic Stack 9.2+版本中实现AI驱动的聊天功能。主要内容包括: 通过POST命令启用Agents界面和相关配置 安装ELSER模型并配置环境变量 创建自定义ES|QL查询工具(Tool)来检索金融数据 构建金融助手Agent,包含详细的工作指令和工具集 实现与Agent的对话功能,演示了处理复杂金融查询的过程 展示了如何配置Claude Desktop客户端连接并使用该Agent 文章提供了完整的代码示例和配置说明,帮助读者构建一个能够分析金融数据、评估市场风

2025-11-20 15:35:53 974

原创 在 Elasticsearch 中实现带可观测性的 agentic 搜索以自动调优相关性

本文介绍了Elastic最新推出的Agentic搜索解决方案,通过自然语言处理和自动调优技术提升搜索引擎的相关性。该方案利用Elasticsearch的Learn-to-Rank功能,能够自动从用户交互中学习并持续优化搜索结果,无需手动调优或数据科学家参与。文章详细演示了如何搭建一个房产搜索代理,支持用户使用自然语言查询(如"夏威夷3居室带泳池住宅")并获得精准结果,同时展示了自动训练的重排模型如何显著改善搜索质量。该架构适用于保险、SaaS、电商等多个行业,将传统搜索从成本中心转变为竞

2025-11-20 08:30:28 857

原创 Elasticsearch:Microsoft Azure AI Foundry Agent Service 中用于提供可靠信息和编排的上下文引擎

文章摘要:Elasticsearch与Microsoft Azure AI Foundry Agent Service的深度整合解决了企业级AI应用的核心挑战——如何确保智能代理基于专有数据生成可信响应。该集成通过两种协议实现:1)MCP协议让Elasticsearch作为知识库提供数据支撑;2)A2A协议支持不同代理间的协作工作流。这种技术架构既保证了响应准确性,又实现了复杂任务编排,使企业能够快速构建基于真实数据、减少AI幻觉的智能代理系统。

2025-11-19 13:08:38 913 1

原创 你知道,关于上下文 — 第二部分:Agentic AI 和对上下文工程的需求

【摘要】本文探讨了LLM向Agentic AI演进过程中对上下文工程的需求增长,分析了RAG技术的局限性和内存管理挑战。文章指出生成式AI和Agentic AI改变了传统搜索模式,通过自然语言交互提供智能化响应,但也面临幻觉、信息过载和上下文衰减等问题。Agentic AI通过自主规划、工具调用和多agent协作扩展了AI能力,但需要解决状态管理、协议标准化和上下文质量控制等挑战。上下文工程作为新兴领域,整合了提示工程、上下文管理/处理/生成技术,旨在优化信息检索、增强AI推理能力。文章最后提出混合搜索可能

2025-11-19 09:54:59 740

原创 Elastic 被评为 IDC MarketScape:2025 年全球可观察性平台供应商评估的领导者

Elastic被IDC MarketScape评为2025年全球可观察性平台领导者,凭借其开放标准架构、可扩展性和业务感知能力。通过创新功能如Streams(AI驱动的日志处理)和Elastic AI Assistant,Elastic简化了问题检测和解决流程,降低成本并提升效率。其统一平台整合了可观察性、安全和搜索,支持从被动故障排除转向主动智能运维。Elastic持续推动技术创新,包括开源贡献和透明开发实践,致力于为企业提供高性能、经济高效的解决方案。

2025-11-18 16:58:39 813

原创 检测不可检测的:使用 Elastic 构建欺诈检测框架

Elastic推出欺诈检测框架解决方案,帮助公共部门应对医疗保险、税务等领域的欺诈挑战。该方案结合三种核心技术:检测规则识别已知欺诈模式(如同一IP多账号申请);机器学习异常检测发现统计异常行为;AttackDiscovery利用大语言模型关联分析复杂欺诈行为。方案特别适合已使用Elastic平台的中小型政府机构,能整合现有技术资源,提高投资回报率。疫情期间美国失业保险欺诈率达11-15%,凸显该方案的现实价值。Elastic强调其数据平台的灵活性,可针对不同欺诈场景定制解决方案。

2025-11-18 16:26:23 1038

原创 如何使用 Elasticsearch 和 LangGraph 构建多 agents 系统

摘要 本文介绍了如何利用Elasticsearch和LangGraph构建具有反射能力的多代理LLM系统。该系统通过混合搜索和ELSER嵌入实现自我纠错功能,专为IT事件分析设计。核心架构包含三个关键技术:LangGraph负责循环工作流编排,Elasticsearch提供混合搜索和长期记忆存储,Ollama支持本地LLM模型。系统实现了反射模式,使代理能通过结构化反馈循环迭代改进响应质量,直到达到预设阈值(默认0.8)。演示展示了从日志搜索、根因分析到质量评估的完整流程,通过2-3次迭代显著提升输出质量。

2025-11-18 08:42:49 1446

原创 Elasticsearch:使用 ES|QL 搜索和过滤

本文介绍了使用ES|QL实现全文搜索和语义搜索的入门教程。主要内容包括:1)创建烹饪博客索引并设置字段映射;2)通过Bulk API添加示例数据;3)执行基础文本搜索、相关性评分和精确匹配;4)控制搜索精度(AND/OR逻辑、短语匹配);5)实现语义搜索和混合搜索;6)高级功能如查询字符串、跨字段搜索和权重设置;7)过滤和精确匹配技巧;8)构建复杂搜索方案,包括结合过滤条件、自定义评分和高级相关性计算。教程提供了详细的ES|QL查询示例,展示了从基础到高级的搜索实现方法。

2025-11-17 15:24:05 1228

原创 Elasticsearch:如何在 ES|QL 中使用 FORK 及 FUSE 命令来实现混合搜索 - 9.1+

我们知道在 DSL 中我们可以轻松地使用 RRF 及线性来针对多路搜索进行混合搜索。请详细阅读之前的文章 “在上面,我们使用了 RRF。有关 RRF 的介绍,请阅读文章 “我们也可以使用线性组合来平衡混合搜索。请详细阅读文章 “随着 ES|QL 的推出,越来越多的查询会使用 ES|QL 来做查询,那么我们该如何实现混合搜索呢?Elastic 在 9.1 中开始推出 FORK 及 FUSE 命令来帮助我们来实现这种混合搜索。

2025-11-17 11:22:57 1230

原创 Elasticsearch:如何创建知识库并使用 AI Assistant 来配置 slack 连接器

本文介绍了如何利用AI Assistant配置Slack连接器并实现自动发送查询结果。首先需按照先前文章完成知识库和Slack Webhook URL的设置,创建包含连接器配置信息的知识库。然后通过AI Assistant自动创建Slack连接器并测试成功。文章展示了AI Assistant的强大功能:能理解中文查询英文索引,自动检索Elasticsearch中"flights"索引,找到中美航线最低价格,并通过Slack连接器发送结果。整个过程无需人工干预,充分体现了AI Assist

2025-11-17 09:08:03 978

原创 如何在 Azure AKS 上自动部署 Elasticsearch

本文介绍了如何在Azure Kubernetes Service(AKS) Automatic上使用Elastic Cloud on Kubernetes(ECK)部署Elasticsearch和Kibana。通过AKS Automatic可自动管理集群资源,降低运维复杂度。教程详细说明了从创建AKS Automatic集群到安装ECK operator、部署Elasticsearch单节点和配置Kibana负载均衡器的完整步骤,包括如何调整集群规格和访问服务。这种方案平衡了Kubernetes的灵活性与自

2025-11-16 08:38:13 955 2

原创 Elasticsearch:如何创建知识库并使用 AI Assistant 来配置连接器

本文详细介绍了如何为AIAssistant创建和配置大模型连接器知识库。首先需部署Elasticsearch和Kibana环境,并设置DeepSeek作为默认连接器。接着通过安装特定知识库,指导AIAssistant自动创建混元大模型连接器,包括配置API参数和认证信息。文章展示了如何用中英文指令成功创建"hunyuan-4b-1"和"hunyuan-4b-2"连接器,验证了知识库驱动的自动化配置功能。这种AI辅助操作方式显著提升了连接器创建效率,为更复杂的自动化管理

2025-11-14 14:40:45 755

原创 在 Elasticsearch 中使用 A2A 协议和 MCP 创建一个 LLM agent 新闻室

本文探讨了Agent2Agent(A2A)协议与ModelContextProtocol(MCP)在多智能体协作系统中的应用。A2A协议标准化了专业LLM智能体之间的通信与协作,适用于需要复杂工作流协调的场景;而MCP则专注于为单个智能体提供标准化工具和数据访问。文章以数字新闻室为例,展示了A2A如何协调记者、编辑等专业智能体的工作流程,同时通过MCP服务器访问各类资源。最后指出,A2A与MCP的协同使用能充分发挥多智能体系统的组织优势和MCP的标准化优势。

2025-11-14 10:05:17 1292

原创 Elastic 在 IDC MarketScape:2025 年全球通用知识发现供应商评估报告中被评为领导者

Elastic在IDC MarketScape 2025全球通用知识发现供应商评估中获评领导者。该平台通过整合搜索、分析和AI技术,为企业提供多模态数据管理和AI驱动的知识发现解决方案,支持对话式搜索、RAG等功能。Elastic的核心优势包括开放API、开发者工具、战略合作伙伴关系以及统一数据平台,帮助客户实现智能文档管理和大规模搜索。近期通过收购JinaAI、推出Agent Builder等创新,进一步巩固了其在AI驱动搜索领域的领导地位。

2025-11-14 09:06:52 999

原创 在 Elastic Observability 中使用 OpAmp 对 EDOT SDK 进行集中配置

本文介绍了如何在Elastic Observability中通过OpAMP协议实现EDOT(Elastic Distribution of OpenTelemetry)SDK的集中配置管理。主要内容包括:1)OpAMP协议的基本原理,EDOT Collector作为服务器端管理配置;2)支持集中配置的EDOT SDK版本和Elastic Stack版本要求;3)配置EDOT Collector启用apmconfig扩展;4)通过环境变量ELASTIC_OTEL_OPAMP_ENDPOINT启用EDOT SD

2025-11-13 14:23:14 773

原创 Elasticsearch:你知道,为了上下文 —— 混合搜索和上下文工程的演变

摘要:本文探讨了混合搜索和上下文工程如何支持下一代AI工作流程。作者分析了传统词汇搜索的局限性,以及LLM如何通过向量搜索实现语义理解。文章指出混合搜索结合了词汇搜索和向量搜索的优势,而上下文工程将成为AI交互的新前沿。Elastic SearchAI平台通过混合搜索、安全控制和AgentBuilder等工具,为RAG和agenticAI提供精准的上下文检索。随着AI工作流程向自动化发展,搜索平台在确保响应准确性和可信度方面将发挥关键作用。

2025-11-13 10:31:00 1015

原创 用 AI 驱动的威胁狩猎提升公共部门的网络防御

公共部门网络安全面临严峻挑战,38%的机构网络弹性不足。Elastic Security作为Gartner魔力象限"远见者",提供AI驱动的威胁狩猎平台,整合分布式数据架构、Kibana可视化和机器学习能力。其托管式大型语言模型(LLM)满足合规要求,通过Attack Discovery和AI助手功能,可快速识别协同攻击模式,帮助机构实现风险暴露减少36%、误报率降低75%等成效。该方案特别适用于保护公共部门敏感数据和关键基础设施,支持从异常检测到事件响应的全流程安全防护。

2025-11-12 15:09:40 688

原创 Elasticsearch 的结构化文档配置 - 递归分块实践

本文介绍了在Elasticsearch中配置递归分块的方法,重点展示了如何使用ELSER模型处理结构化文档。首先定义了inference endpoint并设置递归策略参数(max_chunk_size和分隔符),然后创建索引并插入示例文档。通过多个查询演示了不同max_chunk_size设置和分隔符组(包括自定义分隔符和markdown组)对分块结果的影响,帮助开发者理解递归分块的核心机制。文章特别指出9.2+版本需使用特定查询格式才能查看分块结果。

2025-11-12 09:52:55 622

原创 在 Elasticsearch 中为结构化文档配置递归分块

Elasticsearch 8.16+版本引入可配置的递归分块策略,帮助优化结构化文档索引。该策略通过正则表达式列表逐级拆解文档,直到片段符合设定的最大分块大小。用户可自定义分隔符或使用预设的markdown/plaintext分组。配置时需指定max_chunk_size和分隔符列表/分组,系统会按优先级逐步拆分超限片段,最后退回到句子分块。文中展示了使用Markdown标题作为分隔符的实例,并说明如何通过API配置分块参数。该功能特别适用于保留结构化文档(如Markdown)的内容相关性。

2025-11-12 08:32:59 1452

原创 Observability:适用于 PHP 的 OpenTelemetry:EDOT PHP 加入 OpenTelemetry 项目

Elastic向OpenTelemetry社区捐赠其PHP版OpenTelemetry解决方案(EDOTPHP),这将显著简化PHP应用的可观测性实现。该捐赠已被正式接受,标志着为全球广泛使用的PHP语言带来零配置、高性能可观测方案的重要里程碑。EDOTPHP提供自动代理加载、原生C++性能优化、异步通信等功能,使安装和监控PHP应用像安装系统包一样简单,无需修改代码或手动配置。此次合作将使OpenTelemetry生态覆盖主要编程语言,推动可观测性在各类环境中的无障碍应用。

2025-11-11 17:35:07 1250

原创 如何在本地部署腾讯混元大模型并连接到 Elasticsearch 进行使用

本文详细介绍了在Ollama环境中安装腾讯混元大模型(Hunyuan-4B)并将其连接到Elasticsearch的全过程。主要内容包括:1)通过GGUF量化版本在Ollama中配置混元模型;2)创建自定义Modelfile并注册模型;3)测试模型性能,展示其在理解Elastic、Elasticsearch等概念以及中国地理知识方面的表现;4)详细说明如何将模型连接到Elasticsearch,包括创建Connector、测试接口和上传文档等步骤。文章特别指出混元模型响应速度优于DeepSeekR1,并演示

2025-11-11 14:34:01 1663

原创 如何使用 ECK 在 AWS EKS 自动模式下部署 Elasticsearch 和 Kibana

本指南介绍如何在AWS EKS自动模式下通过Elastic Cloud on Kubernetes (ECK)部署Elasticsearch和Kibana。内容包括:1) 安装eksctl CLI工具;2) 创建EKS自动模式集群;3) 安装ECK操作器;4) 配置存储类;5) 部署单节点Elasticsearch和Kibana实例;6) 访问Kibana界面。该方案利用EKS自动模式管理基础设施资源,同时通过ECK简化Elastic Stack组件在Kubernetes上的部署,相比直接使用虚拟机更加自动

2025-11-11 07:36:53 850

原创 Elasticsearch:如何为 Elastic Stack 部署 E5 模型 - 下载及隔离环境

摘要:E5是一种多语言语义搜索模型,通过稠密向量表示实现基于意图而非关键词的搜索。提供标准版和Intel优化版两种版本,推荐通过inference API部署。部署方式包括使用Dev Console、Trained Models页面或API调用,支持隔离环境安装。注意E5为第三方模型,Elastic不控制其训练数据。使用时需具备相应订阅等级,建议启用自动扩缩容功能。

2025-11-10 14:07:21 1068

原创 从 Kubernetes 上的 Windows 容器中摄取 IIS 日志

本文介绍了在Kubernetes中监控Windows工作负载时处理IIS访问日志的解决方案。由于IIS日志被容器元数据包裹导致无法搜索,作者提出使用Elasticsearch的ingest pipeline来检测IIS日志、去除Kubernetes元数据,并将其自动路由到IIS集成中进行结构化解析。该方法无需基础设施变更即可实现日志字段映射,显著提升故障排查效率。文章详细说明了pipeline创建步骤、测试验证方法和性能优化建议,最终使工程团队能够基于结构化数据进行查询、构建仪表板和设置告警。这种模式也适用

2025-11-10 11:06:17 1030

原创 在 Kibana 中引入 Elasticsearch 查询规则界面 - 9.2

Elasticsearch 8.10引入的查询规则(Query Rules)功能允许通过Kibana界面或API快速调整搜索结果,无需修改代码。该功能包含三种主要操作:置顶(Pinned)特定文档、排除(Exclude)文档以及基于用户元数据(如地理位置或忠诚度等级)的条件化展示。文中通过电商案例演示了如何将"PS4控制器"置顶、基于用户忠诚度展示会员卡商品,以及临时下架缺货商品。这些规则可在不影响自然排名的情况下,通过简单的UI操作或API调用实现即时业务需求,适用于电商促销、内容合规

2025-11-08 08:07:54 1214 2

原创 使用 Instrumentation Score 和 Elastic 的 OpenTelemetry 数据质量洞察

本文探讨了OpenTelemetry数据质量的InstrumentationScore评估方法。尽管OpenTelemetry规范提供了数据收集指导,但高灵活性容易导致数据质量问题。InstrumentationScore通过标准化规则评估数据质量,并支持按服务分解分析,帮助定位问题根源。作者利用Elastic Stack构建了数据质量分析POC,展示了如何通过仪表盘可视化评估结果,包括规则违规程度和具体示例。实验发现OpenTelemetry Demo的得分仅为35,暴露出数据收集中的问题。文章指出,结合

2025-11-07 16:43:09 1065

原创 Elastic Streams 中的数据协调:稳健架构深度解析

摘要: Elastic Stack推出的Streams将数据流、索引模板等组件整合为统一原语,简化了数据管理流程。团队采用基于协调(reconciliation)的架构重构代码,借鉴Kubernetes和React的设计理念,建立了清晰的状态模型和请求生命周期。新架构通过分离决策与执行、集中验证、支持批量操作和试运行等功能,显著提升了系统的可靠性、可扩展性和可维护性。这一改进不仅解决了原有系统的技术债务,还为未来功能演进奠定了坚实基础,体现了Elastic"渐进改进"的开发理念。

2025-11-07 14:48:16 692

原创 使用 Mastra 和 Elasticsearch 构建具有语义回忆功能的知识 agent

本文介绍了如何利用Mastra框架和Elasticsearch构建具有语义回忆功能的知识agent。Mastra是一个开源的TypeScript框架,通过Elasticsearch作为向量存储实现长期记忆功能,使得agent能够存储和检索历史交互信息。文章详细说明了从环境配置、Elasticsearch集成到知识agent创建的完整步骤,包括设置向量索引、实现语义搜索等关键技术环节。这种结合使AIagent能够基于历史上下文生成更准确可靠的响应,可应用于客服支持、知识管理等场景。目前该集成已作为技术预览提供

2025-11-07 07:57:51 907

原创 Elasticsearch:相关性在 AI 代理上下文工程中的影响

摘要:本文探讨了如何通过上下文工程提升大型语言模型(LLM)在复杂任务中的性能。作者指出,随着AI代理处理任务的复杂度增加,传统的提示工程已不足以应对挑战,转而需关注上下文管理。文章提出了混合检索、语义分块和代理搜索等策略,通过结合词汇搜索的精确性和向量搜索的语义召回能力,优化检索相关性。实验数据表明,混合方法在前10个结果中成功找到了84.3%的相关文档。此外,还介绍了代理搜索(sub-agent)架构、领域特定工作流等进阶技术,以及应对上下文限制的压缩策略。这些方法共同构成了新兴的"上下文工程

2025-11-06 11:16:53 1299

原创 使用 Elasticsearch 和 SigLIP-2 进行多模态山峰搜索

本文介绍了一个基于SigLIP-2嵌入和Elasticsearch kNN向量搜索的多模态混合搜索系统,支持文本到图像和图像到图像的搜索功能。系统采用两个Elasticsearch索引:peaks_catalog存储山峰原型向量,photos存储照片元数据和向量。通过Streamlit UI,用户可以进行文本查询搜索相关照片,或上传图片识别山峰并查找相似照片。项目展示了如何将多语言视觉编码器与Elasticsearch的向量搜索、过滤功能相结合,构建高效实用的多模态搜索应用。GitHub提供了示例代码和Co

2025-11-05 10:17:28 1227

原创 通过混合搜索重排序提升多语言嵌入模型的相关性

本文介绍了如何利用Elasticsearch中的E5多语言嵌入模型和Cohere重排序器来提升跨语言搜索的相关性。通过将文本转换为统一语义空间的向量表示,系统能够实现英语、德语、意大利语、越南语等多种语言的语义检索。文章演示了如何使用混合搜索技术(结合kNN和RRF)以及Cohere的rerank-v3.5模型来优化搜索结果排序,即使查询语言与文档语言不同也能获得高质量结果。实验显示,这种方案不仅能发现跨语言的语义关联,还能捕捉到原始数据集中遗漏的细节信息。开发者可以通过Elasticsearch Clou

2025-11-04 08:18:55 1167

03-Elasticsearch 在 AI 检索与 Serverless 模式成本优化的新特性 王亚宁 北京 20241214

本次议题将深入探讨 Elasticsearch 在 AI 检索和 Serverless 模式方面的最新进展,重点介绍如何利用这些新特性提升检索体验、快速搭建企业级 RAG 服务,以及在日志场景如何通过 Serverless 模式实现显著的成本优化和性能提升。

2024-12-17

01 - AI 驱动 - 搜索的未来 -刘晓国 武汉 20250329

内容概要:本文由Elastic中国社区首席布道师刘晓国主讲,探讨了AI驱动的搜索技术的发展方向,特别是Elasticsearch在向量搜索和语义搜索方面的创新。文章详细介绍了向量搜索的基本概念、实现方法以及具体应用场景,如图片相似度搜索、混合搜索、语义搜索等。此外,还讨论了Elasticsearch在硬件加速、模型管理、推理API等方面的最新进展,以及如何通过Retrieval Augmented Generation (RAG) 技术提升搜索质量和安全性。 适合人群:对AI驱动的搜索技术感兴趣的开发者、数据科学家、企业IT决策者。 使用场景及目标:适用于需要高效、精准搜索的企业级应用,尤其是涉及大规模非结构化数据处理的场景。目标是帮助用户更好地理解和应用最新的搜索技术,提升业务效率和用户体验。 其他说明:文中提供了丰富的技术细节和实例,包括向量相似度计算、模型训练与部署、搜索架构优化等方面的内容。同时,还提到了Elasticsearch与其他AI工具和服务的集成,如OpenAI的CLIP模型、HuggingFace等。

2025-03-31

02 - ES 在绿盟企业安全平台的应用实践 - 陆攀 武汉 20250329

内容概要:本文详细介绍了Elasticsearch(ES)在绿盟企业安全平台中的大规模应用及其优化路径。首先概述了安全大数据分析的典型场景和所面临的技术挑战,如PB级别的数据量、Ad-hoc查询性能、集群稳定性和运维成本等问题。接着阐述了ES集群的具体应用场景,包括日志查询、仪表盘展示和事件告警等功能模块。针对这些问题,文中提出了多项优化措施,如多实例部署、角色分离、master节点升级、_id移除到堆外、引入混合存储等方法,有效提升了系统的稳定性和性能。最后还讨论了写入性能方面的改进,如避免多盘陷阱、采用本地写入方式、实施预判引擎以及调整动态mapping设置等。 适合人群:从事信息安全领域的技术人员,尤其是负责大型分布式系统架构设计和技术选型的专业人士。 使用场景及目标:适用于需要处理海量日志数据的企业级安全平台建设,旨在提高数据分析效率、增强系统可靠性和降低运营维护难度。 其他说明:本文不仅提供了理论指导,还分享了许多实际案例和具体实施方案,对于希望深入了解ES集群管理和调优的读者来说非常有价值。

2025-03-31

03 - Agentic RAG 构建之路 - 李捷 武汉 20250329

内容概要:本文详细介绍了Elasticsearch(ES)作为构建Agentic RAG(检索增强生成)系统的理想引擎的原因。首先探讨了传统RAG系统的局限性,然后重点阐述了ES如何通过其强大的查询规划、工具使用、动态查询规划以及数据超融合等功能克服这些问题。文中还展示了具体的案例研究,如财务风险报告、生产线良品率分析、市场销售情况评估等,强调了ES在处理复杂查询、多源数据融合和实时数据分析方面的卓越表现。此外,文章讨论了ES提供的多种查询语言和支持的广泛功能,如多模态嵌入、GPU加速、自动分块策略等,进一步证明了它在构建高效、灵活的Agentic RAG系统中的独特地位。 适合人群:对构建高级检索增强生成系统感兴趣的开发者和技术决策者,尤其是那些希望利用Elasticsearch提升数据处理能力和智能化水平的专业人士。 使用场景及目标:适用于需要处理大量异构数据的企业,旨在提高数据检索效率、增强分析能力、优化业务流程。具体应用场景包括但不限于财务风险管理、生产质量监控、市场营销分析等。 其他说明:文章不仅深入剖析了技术细节,还提供了实际操作指南和最佳实践建议,帮助读者更好地理解和应用

2025-03-31

04 - 腾讯云 ES AI 搜索优化实践 - 刘忠奇 武汉 20250329

内容概要:本文详细介绍了腾讯云Elasticsearch(ES)在AI搜索优化方面的实践成果。首先探讨了一站式RAG(检索增强生成)架构的应用案例,如微信读书‘AI问书’和敦煌数字藏经阁,展示了其在智能检索、问答系统等方面的能力。接着阐述了向量裁剪技术,通过多种索引方式(无向量索引、Flat向量索引、HNSW向量索引等)显著降低了存储成本,最高可达90%。最后介绍了多算法融合排序框架,包括rank_fusion、score_fusion和rerank_fusion三种方法,提升了搜索结果的准确性和召回率。此外,还涉及了嵌入推理、对话推理等功能模块,进一步增强了系统的灵活性和实用性。 适合人群:从事搜索引擎开发的技术人员,尤其是对Elasticsearch及其AI增强功能感兴趣的研究者和从业者。 使用场景及目标:①希望通过RAG架构实现高效智能检索和问答系统的开发人员;②需要降低向量存储成本的数据科学家和技术经理;③希望提高搜索结果质量和用户体验的产品经理和运营人员。 其他说明:文中提到的具体技术细节和应用场景有助于读者深入了解腾讯云ES在AI搜索领域的最新进展和技术优势。

2025-03-31

05 -Elasticsearch 存算分离架构在小米的应用实践 - 周明裕 郑钧元 武汉 20250329

介绍了 ElasticSearch 服务存算分离架构在小米的技术演进过程和实现思路,日志场景可实现单集群 50% 成本优化,提升整体技术性价比

2025-03-31

05-ES AI Assistant集成 DeepSeek QwQ,搭建智能运维助手 槐新 杭州 20250419与应用场景演示

内容概要:本文详细介绍了如何通过集成DeepSeek/QwQ模型搭建基于Elasticsearch(ES)的智能运维助手,以提升运维效率和问题解决能力。文章首先阐述了大语言模型(LLM)在知识问答场景中的局限性,如幻觉问题、知识受限等,进而引出检索增强生成(RAG)技术的优势,包括实时更新知识库、可解释性和减少幻觉。接着,文章介绍了新一代AI搜索应用——Agentic RAG,它通过引入人工智能代理,实现了多源协同检索、多轮交互和复杂任务处理的能力。此外,文章还展示了Elasticsearch的功能及其与DeepSeek/QwQ的深度集成,具体包括实时状态诊断、动态生成可视化数据看板、智能查询构建等。最后,通过几个实际应用场景的演示,如集群运维、可视化分析和DSL查询生成,展示了该智能运维助手的强大功能。 适合人群:具有运维经验的IT工程师、系统管理员以及对Elasticsearch和AI技术感兴趣的开发者。 使用场景及目标:①通过自然语言指令自动构建精准查询语句,实现查询构建-执行-优化的全流程自动化;②辅助集群运维和索引管理,提供智能建议,降低技术门槛;③进行可视化分析,帮助用户快速理解日志信息,生成相关图表;④支持多模态向量搜索,提升搜索精度和开发体验。 阅读建议:由于本文涉及大量技术细节和实际操作步骤,建议读者在阅读时结合实际案例进行理解和实践,尤其是对Elasticsearch和AI技术的应用有初步了解的读者,可以通过动手实验加深理解。

2025-04-19

ES/Ksibana 双MCP框架下的新一代AiOps实践 Luke 线上 20250521

内容概要:本文介绍了Elasticsearch和Kibana在双MCP框架下实现的新一代AIOps实践。作者Luke Azmat Ablat是AI解决方案架构师,专注于Elasticsearch在AI领域的应用,特别是在低资源语言搜索体验和复杂混合搜索方面的优化。文中强调了MCP(模型上下文协议)的重要性,它由Anthropic提出并被广泛认可,旨在统一AI模型与外部数据源的交互方式。通过MCP协议,Elasticsearch和Kibana能更好地结合LLM能力,实现分钟级别的故障排查和根因分析,极大提升了AIOps效率。具体应用包括实时搜索、可视化管理和智能交互,涵盖从集群状态检查到异常区域深度调查等多个场景。; 适合人群:对AI运维(AIOps)、Elasticsearch和Kibana有研究兴趣或工作需求的技术人员,尤其是从事IT运维、数据管理和AI开发的专业人士。; 使用场景及目标:①利用MCP协议整合Elasticsearch和Kibana,实现高效的自动化根因分析;②通过自然语言交互简化集群管理和数据分析流程;③优化数据洞察,提高故障排查速度,从数小时甚至数天缩短到几分钟。; 其他说明:本文不仅探讨了技术理论,还提供了实战演示,展示了如何在现有环境中部署和使用MCP框架。未来计划包括开源大模型记忆模块和支持中英混合搜索等功能,进一步扩展Elasticsearch的应用范围。

2025-05-22

02-GraphRAG 和 Elasticseach 8 的创新实践 - 徐胜 上海 20250222

主要分享结合 Elasticsearch 8 的最新特性和微软的最新技术 GraphRAG,来实现垂域知识库的智能体知识问答的方法和技术案例。Elasticsearch 8 里面的混合检索和多路召回技术,和知识图谱完美结合,实现了更优秀的问答效果。

2025-03-03

01-AI 驱动 - 搜索的未来 - 刘晓国 上海 20250222

内容概要:本文探讨了AI驱动的未来搜索技术,特别是通过Elasticsearch实现的向量搜索和语义搜索。首先介绍了为何需要向量搜索及其基本概念,随后深入讲解了Elasticsearch中的向量搜索实现细节、向量相似度测量方法,以及如何整合图像和文本搜索。接着,描述了向量和经典搜索混合的方法,强调了RAG(检索增强生成)的作用。最后,文章讨论了Elasticsearch在硬件加速方面的进步及未来的发展方向,如稀疏向量搜索和学习排序等新技术的应用。 适合人群:熟悉搜索引擎和机器学习的基础知识的技术爱好者和专业工程师。 使用场景及目标:帮助开发者理解和掌握最新的AI驱动搜索技术,包括搭建高效能的语义和向量搜索系统,以及优化搜索结果的相关性和速度。同时,探索将这些先进技术应用于实际项目中解决具体业务问题的可能性。 其他说明:文中提供了许多具体的示例,如基于变压器模型的文字向量表示,图片相似度查找实例,并展示了使用Elastic Stack实现复杂混合搜索的实际操作。还涉及到一些高级特性,如KNN查询、ELSER模型训练、以及Retriever API的设计原理。

2025-03-03

03-基于 ES 与 LLM 技术构建 B站大数据运维智能体实践 - 张勋祥 上海 20250222

内容概要:本文由哔哩哔哩资深开发工程师张勋祥讲解了基于Elasticsearch(ES)和大型语言模型(LLM)技术,为解决B站庞大的运维挑战所采取的策略。首先,介绍了当前面临的业务现状,即大量问题咨询以及多样化计算引擎带来的复杂运维问题,这些问题使得自动化运维变得尤为迫切。其次,在详细的场景分析基础上提出并实施了一套智能运维系统。该系统依托于私域知识库来解答咨询和支持故障诊断等功能,涵盖Flink、Spark等多个主流组件,显著提升了处理效率与准确性。此外,针对关键的技术难题如查询改写优化等问题,文中分享了一系列有效的解决手段。最后展示了具体应用场景,如对Flink的作业断流现象进行分析。同时对未来发展规划进行了探讨,强调将继续推进运维智能化水平。 适用人群:适用于有兴趣于大数据架构下智能运维解决方案的研发人员和技术经理,特别是从事Flink、Spark等领域工作的人群。 使用场景及目标:本研究旨在为面临大规模分布式系统的团队提供有价值的见解和技术指导,帮助他们更好地理解和应用智能运维方法论来应对复杂场景中的各类运维挑战。 其他说明:文章提供了丰富的图表及案例分析,便于读者直观地掌握

2025-03-03

04-Elasticsearch 在 AI 驱动下的检索新特性 - 槐新 上海 20250222

内容概要:本文详细介绍了阿里云 Elasticsearch 在 AI 技术推动下所发展的新型搜索能力。涵盖了语义搜索、多模态搜索、RAG(检索增强生成)、AI 助理等方面的新特性和技术进步。特别是在向量搜索方面,阿里云 ES 向量增强版能够高效处理结构化和非结构化数据,将其转化为向量形式,极大提升了搜索效率和精度。此外,还探讨了性能瓶颈及解决方法,以及弹性架构、数据安全性等重要特点,展现了该产品的高性能、低成本和技术灵活性。 适合人群:对于希望深入了解现代搜索技术和向量索引的技术开发者、工程师、研究学者及有兴趣了解前沿科技的应用程序管理员。 使用场景及目标:适用于需要处理大量文本、图像、音频视频等多媒体资料的企业和个人用户。旨在提高搜索系统的智能化水平,帮助企业更快更准地获取所需信息,并优化用户体验。例如,在客服、电商、医疗等领域实施多模态检索和服务机器人等功能,可显著增强业务竞争力。 其他说明:文中提到多个具体案例和技术细节,如性能测试、硬件加速指令的应用、模型量化的优势等,强调了技术的实际应用价值和发展趋势。同时展示了与第三方平台的良好协作,提供了丰富的接口和支持,方便用户的集成与

2025-03-03

Elasticsearch 8.17 Logsdb:企业降本增效利器 程地华 线上 20250416

内容概要:本文介绍了Elasticsearch 8.17 LogsDB作为企业降本增效的利器,主要针对传统日志存储面临的高昂成本和低效查询性能的问题。Elasticsearch 8.17 LogsDB通过多种优化技术,如合成源优化、压缩算法优化、索引排序优化、块编解码器优化、压缩和分段合并优化,显著降低了日志数据的存储需求,提升了查询效率。具体而言,合成源优化去除了不必要的行存,压缩算法优化实现了快速无损压缩,索引排序优化提高了存储效率,块编解码器优化针对不同字段提供不同的编码策略,压缩优化了词典,分段合并优化则通过删除冗余信息节省空间。性能对比显示,LogsDB在系统日志、应用程序日志和审计日志三种类型的日志存储优化效果显著。应用场景包括大规模日志存储、企业级日志管理和实时日志监控与分析。 适合人群:从事日志管理和数据分析的技术人员,尤其是关注日志存储成本和查询性能的企业IT管理者和技术团队。 使用场景及目标:①大规模日志存储:显著减少存储空间,降低存储成本;②企业级日志管理:提高存储效率,优化查询性能,简化管理流程;③实时日志监控与分析:高效处理和查询海量日志数据,快速发现和解决问题。 其他说明:本文详细介绍了如何创建索引生命周期、索引模板、数据流以及配置写入等具体操作步骤,为企业提供了完整的实施指南。通过这些优化措施,企业可以在整个索引生命周期中持续受益,进一步降低总拥有成本。

2025-04-17

00-Elastic Pioneer-项目

内容概要:Elastic China Pioneer Program(先锋者计划)是Elastic中国发起的大使招募计划,旨在汇聚生态伙伴、用户及开发者力量,共同推广Elastic搜索技术。该计划明确了Pioneer的使命为传播Elastic技术魅力、分享应用心得,助力Elastic在中国市场的发展。Pioneer可通过发表演讲、撰写文章、录制视频、GitHub代码贡献、提供解决方案等方式获取积分,不同形式的贡献对应不同分值。活动设有严格的审核机制,确保公平公正,参与者可凭作品质量获得相应积分,有广泛影响力的贡献还能得到额外奖励。此外,该计划还设立了月度和年度榜单机制,月度榜单每月评选一次,年度榜单前三名可获直通Elastic ON新加坡站等丰厚奖励,所有奖励均与积分挂钩,鼓励持续贡献。 适合人群:热爱Elastic技术,愿意为其发声的生态伙伴、广大用户及社区开发者。 使用场景及目标:①通过多种方式宣传推广Elastic技术,扩大其在中国市场的影响力;②激励更多人参与到Elastic的技术生态建设中来,推动Elastic技术的发展。 其他说明:活动期间,Elastic官方有权对提交内容进行二次加工、修改、传播,优秀内容将通过官方渠道推广分享。

2025-04-19

04-Higress x Elasticsearch构建更智能的AI网关 程治玮 20250419

介绍 Higress AI 网关在推理服务场景下提供的多模型适配、故障切换、多租户管理、Token 限流与内容安全等核心能力,并深度集成 Elasticsearch 实现语义化缓存、RAG 搜索和可观测等高级功能。

2025-04-19

01-AI 驱动 - 搜索的未来 刘晓国 南京 20250628

1)为什么需要向量搜索? 2)RAG 是什么? 3)Elastic 在向量搜索上的最新进展 4)案例分析

2025-06-28

腾讯云 ES AI 搜索优化实践 刘忠奇 线上 20250605

1. RAG 架构的搜索增强实践 2. 自研 v-pack 插件向量增强技术解析 * 存储降本九成:向量裁剪技术 * 准召提升手段:多算法融合排序框架

2025-06-05

03-Elasticsearch跨境电商搜索优化实践 欧阳楚才 杭州 20250419

内容概要:本文由欧阳楚才分享,主要介绍了Elasticsearch在跨境电商搜索优化中的实践。文章首先指出跨境电商搜索面临的问题,如搜索词意图丰富、分词准确性、搜索关键词多义等,随后详细阐述了搜索业务架构,包括意图识别、类目预测、实体识别、同义词扩展、分词处理、尺寸识别、停用词过滤、词干提取等方面的技术细节。接着,文章探讨了搜索召回和排序机制,强调了通过字段加权计算相关性评分和点击率预测CTR模型来优化搜索结果的重要性。最后,还涉及了性能压测、商品属性字段聚合优化以及数据埋点等内容,旨在提升搜索服务的整体性能和用户体验。; 适合人群:从事跨境电商、搜索引擎优化、Elasticsearch技术应用的相关从业人员,尤其是有一定Elasticsearch基础的研发人员和技术管理者。; 使用场景及目标:①理解和解决跨境电商搜索中的常见问题,如搜索词意图识别、多语种分词、关键词多义性等;②掌握通过类目预测、实体识别、同义词扩展等方法提高搜索召回率和准确性的技术手段;③学习如何通过性能压测、数据埋点等手段优化搜索服务的性能和用户体验。; 其他说明:本文提供了丰富的实际案例和技术细节,建议读者结合自身业务场景进行实践,并参考文中提供的具体配置和优化方法,不断调整和改进搜索系统。

2025-04-19

01-AI 驱动 - 搜索的未来 刘晓国 杭州 20250419

1)为什么需要向量搜索? 2)RAG 是什么? 3)Elastic 在向量搜索上的最新进展 4)案例分析

2025-04-19

02-阿里云Elasticsearch向量引擎百亿级数据优化实践 魏子珺 杭州 20250419

深度解析阿里云 Elasticsearch 向量引擎从8.0到8.x最新版本的技术跃迁,揭秘 Elasticsearch 向量引擎如何处理百亿级向量数据。分享向量引擎与文本搜索、AI 模型的无缝整合方案,探讨如何通过混合检索能力优化 RAG(检索增强生成)、Deep Search 等企业级场景。

2025-04-19

Elasticsearch 新一代查询语言- ES-QL 介绍与实战 -夏乔 - 20251120

内容概要:本文介绍了Elasticsearch推出的新一代查询语言ES|QL,旨在解决现有查询语言(如Query DSL、SQL等)在可读性、性能和功能覆盖上的局限。ES|QL采用管道式声明语法(FROM | WHERE | EVAL | STATS),以表格模型处理数据,支持从搜索到分析再到可视化的全流程统一操作。其拥有独立于Search的查询引擎,通过谓词下推、列裁剪和算子优化提升执行效率,并深度集成于Observability、Security等场景。文章详细讲解了ES|QL的架构原理、执行流程、语法结构及常用命令,并展示了实际应用示例,同时指出其当前的限制与最佳使用建议。; 适合人群:具备Elasticsearch基础的数据分析师、运维人员、安全专家及开发人员,尤其是关注日志分析、指标统计与威胁检测的技术从业者; 使用场景及目标:① 替代复杂嵌套的DSL实现高效的数据过滤、转换与聚合分析;② 在单一语句中完成数据检索、丰富化(enrich/join)、统计计算与结果可视化,提升查询可读性和开发效率;③ 适用于可观测性、安全调查和运营报表等需要快速迭代查询的场景; 阅读建议:学习时应结合Kibana实践ES|QL语法,注意控制查询时间范围、尽早过滤数据并限制返回结果规模,避免全量扫描。同时需明确ES|QL目前不适用于大规模导出或高级搜索功能(如相关性排序、向量检索),应根据场景合理选择Query DSL或ES|QL。

2025-11-20

03-Elasticsearch 数据流转之道 - 从写入到查询的技术探秘 尚雷.南京 20250628

内容概要:本文深入探讨了Elasticsearch的数据流转机制,从写入到查询的全过程进行了技术剖析。首先强调了关注数据流转的重要性,包括性能优化、瓶颈识别、资源配置和成本控制。接着介绍了Elasticsearch如何基于PacificA算法进行改进,以适应互联网级别的数据架构需求。文章详细解析了Elasticsearch的写入和读取流程,包括路由机制、刷新与合并操作,以及不同写入模式的选择。最后通过实际案例展示了性能优化的具体方法,如合理设置副本数量、优化索引大小和管理操作系统缓存。 适合人群:具备一定Elasticsearch使用经验的开发人员和技术管理人员,尤其是对性能优化和架构设计有需求的用户。 使用场景及目标:①理解Elasticsearch内部机制,识别性能瓶颈并进行优化;②掌握写入和查询流程,合理配置系统资源;③通过实际案例学习如何优化索引、副本设置和缓存管理,提高系统稳定性和响应速度。 阅读建议:本文内容较为深入,建议读者结合自身应用场景,重点关注与自身业务相关的性能优化部分,并尝试在实际环境中应用所学知识,进行针对性的调整和测试。

2025-06-28

【AIOps领域】基于M02-双 MCP 赋能ES Luke 南京 20250628CP框架的Elasticsearch与Kibana智能根因分析系统设计:提升企业数据洞察效率和自动化运维能力

内容概要:本文介绍了在双 MCP框架下,Elasticsearch (ES) 和 Kibana 新一代 AIOps 实践的发展和应用。文章首先概述了项目背景,指出尽管 ES 已经在自动化根因分析、动态数据洞察等方面展现了巨大潜力,但其在 AI 领域的应用尚未得到充分挖掘。接着,文章详细解释了 MCP(模型上下文协议)的概念及其重要性,强调它是 AI 助手与外部数据源无缝交互的关键协议,类似于 AI 领域的“USB-C”或“HTTP”协议。MCP 定义了应用程序和 AI 模型间交换上下文信息的标准方式,简化了 AI 应用的开发和集成。文中还展示了如何通过 MCP 实现 ES 和 Kibana 的智能交互,具体包括资源读取、工具调用、提示模板等功能,并通过实际案例演示了利用 LLM 和 MCP 快速处理安全事件的流程。最后,文章展望了未来的发展方向,如开源 ES 的大模型记忆模块和开发专门的 MCP 客户端。 适合人群:对 AIOps、Elasticsearch、Kibana 或 AI 技术感兴趣的 IT 专业人员,特别是那些希望提高数据分析效率、优化系统管理和提升安全性的技术人员。 使用场景及目标:①利用 MCP 实现 ES 和 Kibana 与 LLM 的无缝对接,加速故障排查和根因分析,将工作量从数小时甚至几天缩短至分钟级别;②通过自然语言交互方式,使 AI 能够理解和生成数据洞察,优化数据可视化;③构建高效的数据驱动 AI 解决方案,提升企业在复杂 IT 环境中的问题诊断和优化能力。 其他说明:文章由 AI 解决方案架构师 Luke Azmat Ablat 主讲,他专注于 ES 在 AI 领域的应用,曾主导多个相关项目并推动了 ES/Kibana MCP Server 开源项目的发展。读者可以通过官方 GitHub 获取更多关于 MCP 社区和项目的最新进展。

2025-06-28

Elasticsearch 可搜索快照 - 降本增效的实践与探索 线上 夏乔 20250717

内容概要:本文详细介绍了Elasticsearch可搜索快照技术,旨在解决大规模Elasticsearch集群中历史归档数据带来的高存储成本、低访问效率和大运维压力的问题。文章首先分析了痛点,包括TB级数据积累导致的历史归档数据占比高、存储成本高、访问效率低等问题。接着介绍了现有Hot-Warm-Cold架构结合ILM的局限性,并提出可搜索快照作为改进方案。可搜索快照允许直接在低成本对象存储上的快照数据中进行搜索,无需预先恢复索引,具有降低存储成本、计算与存储分离、可在线访问归档数据和简化运维等优势。文章还详细解释了可搜索快照的工作原理,包括快照创建、挂载、按需加载和缓存机制。 适合人群:Elasticsearch集群管理员、运维工程师、系统架构师和技术决策者。 使用场景及目标:①适用于日志、指标、APM数据的长期归档与分析;②用于合规性与审计;③作为灾难恢复的只读副本;④支持跨集群搜索历史数据;⑤通过计算与存储分离,实现资源独立扩展,降低运维压力。 其他说明:本文不仅介绍了可搜索快照的技术细节,还通过实际案例展示了其在降本增效方面的显著效果。建议读者结合自身集群情况,评估并实施可搜索快照,以优化数据管理和降低总体拥有成本。

2025-07-18

01-AI 驱动 - 搜索的未来 刘晓国 深圳 20250727

1)为什么需要向量搜索? 2)RAG 是什么? 3)Elastic 在向量搜索上的最新进展 4)案例分析

2025-07-30

02-腾讯云 ES 百亿级 AI Search 优化实践 陈曦 深圳 20250727

分享腾讯云 ES 如何通过文本语义理解、向量空间建模与AI推理能力的三位一体架构,助力 IMA/微信读书/视频号等头部产品实现多模态检索能力。在生成式AI重塑产业格局的当下,我们正推动搜索技术从「信息匹配」向「认知理解」的范式转移,打造业界领先的「搜索即服务」智能基座。

2025-07-30

03-Elastic - Agentic RAG 构建之路 李捷 深圳 20250727

内容概要:本文详细介绍了Elastic-Agentic RAG的构建路径及其优势。RAG(Retrieval-Augmented Generation)是一种结合检索和生成模型的技术,而Agentic RAG进一步增强了这种能力,使其能够处理更复杂的企业级应用场景。文章首先探讨了RAG的局限性,指出传统的RAG主要局限于特定的知识库检索,难以应对多源数据融合、复杂格式处理以及实时数据查询等问题。接着,文章阐述了构建Agentic RAG所需的引擎,强调了其需要具备的进阶能力,如多步推理、动态任务规划、复杂数据处理和跨源协作检索等。此外,文中还展示了Elasticsearch在生成式AI应用中的全面功能,包括创建向量嵌入、混合搜索、灵活选择嵌入模型、过滤和切片等功能,突出了Elasticsearch相较于其他向量数据库的优势。最后,文章通过案例研究,如微信读书的智能阅读实践和敦煌数字藏经阁的RAG问答实践,展示了Elastic-Agentic RAG的实际应用效果,如提高客户和员工满意度、降低风险和总拥有成本等。 适合人群:对企业级AI应用感兴趣的IT专业人士、数据科学家、架构师以及希望了解如何利用AI技术优化业务流程的管理人员。 使用场景及目标:①解决企业内部复杂的数据处理和查询需求,如财务风险报告、生产良品率分析等;②实现多源数据的无缝整合,打破数据孤岛,提高数据利用率;③通过智能化的查询和分析工具,提升业务决策的速度和准确性;④构建高效、安全、可扩展的AI基础设施,支持企业的长期发展。 其他说明:Elastic-Agentic RAG不仅是一个技术解决方案,更是企业数字化转型的重要工具。它帮助企业更好地理解和利用自身

2025-07-30

01-ElasticsearchCCR详解 线上 刘琪 20250820

本次直播,我们将深入浅出,从 Elasticsearch CCR(跨集群复制)功能的底层原理到实际操作,带你全面掌握这一运维利器!无论你是运维新手还是资深专家,都能从中收获实用技巧,轻松应对高可用、高可靠的业务场景! - 深度解析:揭秘 CCR 核心机制,透彻理解数据复制全流程 - 实战演练:从零到精通,现场演示配置与优化技巧 - 场景方案:两地三中心高可用架构的最佳实践 - 互动答疑:直击数据同步与指标汇总痛点,实时解答你的疑问

2025-08-21

01-ES AI Assistant集成 DeepSeek-Qwen3,搭建智能运维助手 - 槐新 线上 20250903

内容概要:本文介绍了如何通过集成DeepSeek和Qwen3大语言模型,基于Elasticsearch构建智能运维助手AI Assistant。重点阐述了Agentic RAG(检索增强生成)技术相较于传统RAG的优势,包括多轮交互、动态决策、多源数据协同和工具调用能力,提升复杂任务处理效率。结合Elasticsearch的向量检索、文本搜索与机器学习能力,AI Assistant可实现自然语言驱动的集群诊断、查询语句生成、可视化分析及运维建议,显著降低技术门槛。文章还提供了从服务开通到Connector配置的完整操作流程,并通过多个场景演示了其在集群运维、日志分析和DSL生成中的实际应用。; 适合人群:具备一定Elasticsearch使用经验的运维工程师、搜索开发人员及对AI智能运维感兴趣的中高级技术人员;熟悉大模型应用与RAG技术的技术决策者或架构师。; 使用场景及目标:①利用自然语言实现Elasticsearch集群状态诊断与优化建议;②自动生成DSL查询语句并解释执行结果;③基于日志和业务数据进行智能分析与可视化图表生成;④提升运维效率,实现异常检测、根因分析与自动化响应。; 阅读建议:建议结合阿里云Elasticsearch 8.15及以上版本实践,按照文档步骤配置Connector并进行交互测试,重点关注Agentic RAG在真实运维场景中的动态规划与多工具协同能力,同时可拓展至安全分析与业务洞察领域。

2025-09-03

01-AI 驱动 - 搜索的未来 刘晓国 成都 20250906

内容概要:本文深入探讨了AI驱动下搜索技术的未来发展,重点介绍了向量搜索的核心原理及其在Elasticsearch中的实现方式。内容涵盖向量搜索的基础知识、语义搜索、混合搜索(Hybrid Search)、检索增强生成(RAG)等关键技术,详细讲解了稠密向量与稀疏向量的处理、嵌入模型的应用、kNN近似最近邻搜索、倒数排序融合(RRF)、学习排序(LTR)以及语义重排序等机制。同时展示了如何利用Elasticsearch实现图像相似性搜索、自动分块的semantic_text字段、多阶段检索器(Retrievers)和端到端RAG系统构建,强调了Elasticsearch在向量数据库能力上的持续优化与硬件加速进展。; 适合人群:具备一定搜索或大数据技术基础,从事搜索系统、推荐系统、AI应用开发的相关技术人员,尤其是对语义搜索、向量检索、RAG架构感兴趣的工程师和架构师;工作年限建议1-5年; 使用场景及目标:①理解向量搜索与传统关键词搜索的融合机制;②掌握在Elasticsearch中实现语义搜索、图像相似性搜索与RAG系统的完整流程;③优化搜索相关性排序,提升生成式AI应用中答案的准确性和上下文相关性; 阅读建议:建议结合Elastic官方文档与演示环境(如eden.elastic.dev)进行实践操作,重点关注模型部署、inference pipeline配置、kNN与RRF检索策略的调优,并深入理解向量索引的存储与性能优化机制。

2025-09-08

腾讯云 ES 百亿级 AI Search 优化实践 - 陈曦 - 20251112

内容概要:本文介绍了腾讯云 Elasticsearch(ES)在百亿级数据规模下的 AI Search 优化实践,重点围绕其自研的高性能混合检索引擎、全链路原子服务及多个标杆案例展开。通过存算分离、堆外内存优化、索引压缩、查询裁剪、CBO 查询计划优化、Multi-path 并行检索、量化裁剪和 GPU 加速推理等核心技术,实现了存储成本降低 50%-80%、查询性能提升 2-10 倍、写入性能提升 1-10 倍、稳定性提升 5 倍以上的显著效果。同时,腾讯云 ES 构建了一站式企业级 AI Search 解决方案,支持文本、向量、多模态混合检索与 RAG 应用,深度融合 NER、Embedding、Rerank 等原子能力,并已在微信读书、IMA 智能工作台、天眼查、敦煌数字藏经洞等多个高要求场景成功落地。; 适合人群:从事搜索、推荐、大数据与 AI 相关工作的中高级研发人员、架构师及技术决策者,尤其适用于需要构建企业级智能检索系统的团队; 使用场景及目标:① 构建高性能、低成本的 AI 搜索系统;② 实现文本与向量混合检索、RAG 问答、智能客服、知识库检索等应用场景;③ 优化现有 ES 集群在大规模、高并发下的性能与稳定性; 阅读建议:本文技术深度较高,建议结合实际业务场景重点关注混合检索优化、GPU 推理加速、全链路原子服务设计等内容,并参考标杆案例进行架构对标与性能调优。

2025-11-12

04-ES日志集群大规模迁移实践-李猛-南京-20250618

内容概要:本文详细介绍了ES(Elasticsearch)日志集群的大规模迁移实践,由Elastic Stack实战专家李猛分享。迁移背景涵盖现有集群架构、日志规模、性能需求及新集群架构特点。针对迁移方案,文中对比了Reindex、Backup&Restore、Logstash/三方工具以及CCR四种方法,最终确定以CCR为主、Reindex为辅的组合策略。迁移实践中,重点讲述了CCR配置、任务脚本编写与执行的具体步骤。同时,针对迁移过程中遇到的新旧集群并行切换、CCR并行与索引限制、旧集群架构限制、迁移时间段限制、超大索引、数据一致性及硬件问题进行了深入剖析。最后,探讨了ES运维工具包(如数据比对脚本、CCR创建+取消工具)的应用。 适合人群:具备一定Elasticsearch使用经验,从事日志管理、运维工作的技术人员。 使用场景及目标:①了解ES日志集群大规模迁移的完整流程与关键步骤;②掌握不同迁移方案的选择依据及其优缺点;③解决迁移过程中可能遇到的技术难题;④提升ES集群运维效率与稳定性。 阅读建议:本文内容详实,技术细节丰富,在阅读时应重点关注迁移方案的选择依据、实际操作步骤以及遇到的问题和解决方案。建议读者结合自身实际情况,参考文中提供的具体案例和技术手段,逐步理解和掌握ES日志集群迁移的相关知识。

2025-06-28

04-Elasticsearch 在日志系统的应用 石樊 深圳 20250727

内容概要:本文详细介绍了富途网络科技有限公司在其日志系统中应用Elasticsearch(ES)的经验,涵盖日志系统的架构、遇到的问题及其解决方案,以及引入ES serverless的原因和效果。富途的日志系统包括SDK、公共组件、Nginx及第三方日志的采集,支持JSON、行采集、分隔符采集等多种格式,确保日志的结构化和字段一致性。针对日志流量波动导致的ES稳定性问题,采用kafka弹性流量、logstash容器自动扩缩容、ES serverless等措施,解决了写入延迟和索引滚动时的短暂写入阻塞。此外,还解决了日志写入时的类型冲突问题,并通过引入ES serverless降低了运维复杂度和成本。未来,富途计划利用ES的文本分类聚合功能,支持日志聚类和AI分析。 适用人群:从事日志系统开发、运维的技术人员,尤其是对Elasticsearch有需求或正在使用的企业IT团队。 使用场景及目标:①解决日志系统中常见的流量波动、类型冲突等问题;②优化日志系统的性能和成本;③探索日志系统的未来发展,如日志聚类和AI分析。 其他说明:本文不仅提供了技术实现的具体方法,还分享了

2025-07-30

02-让成本更极致,腾讯云ES serverless一站式日志分析介绍-张小伟 成都 20250906

内容概要:本文介绍了腾讯云ES Serverless一站式日志分析服务的设计理念、产品功能、底层能力及最佳实践。该服务通过存算分离、自动弹性伸缩、完全免运维等核心技术,实现按需使用、按量付费的极致成本控制,支持日志分析、实时搜索、安全分析等场景。平台集成自治索引、智能链路调度和故障自愈能力,提供端到端SLA保障,兼容开源ES API和ELK生态,助力用户快速构建稳定可靠的一站式日志分析系统。; 适合人群:具备一定云计算和日志分析基础,从事运维、开发或架构设计工作1-3年的技术人员;关注成本优化与系统稳定性的企业技术决策者。; 使用场景及目标:①应对业务流量波峰波谷明显的日志场景,实现零运维下的自动弹性伸缩;②简化ELK链路部署,降低自建集群的运维复杂度与资源浪费;③提升查询性能与写入稳定性,满足高并发日志处理需求; 阅读建议:此资源适合结合实际日志分析场景进行对照学习,重点关注Serverless架构如何解决传统ES集群的运维难题,并理解其在成本、性能、易用性之间的平衡设计。

2025-09-08

03-Agentic RAG 构建之路 李捷 成都 20250906

内容概要:本文深入探讨了从传统RAG向Agentic RAG演进的技术路径与核心能力需求,提出Agentic RAG应具备规划、记忆、执行与反思能力,形成类“智能大脑”的架构。文章系统阐述了构建Agentic RAG所需的四大关键能力:全域数据融合能力,实现知识、业务、运营与安全数据的统一对话;深度查询与分析能力,支持统计分析、数据挖掘与复杂查询语言;LLM原生友好设计,提供可被大模型理解的工具集与声明式工作流语言;企业级可靠性与安全性,涵盖端到端可观测性与全面的LLM安全防护。并以Elasticsearch为例,展示了其如何通过Search AI平台整合搜索、分析、向量处理与安全能力,支撑Agentic RAG的构建,实现业务价值提升。; 适合人群:具备一定AI与系统架构知识的企业技术决策者、AI平台开发者、搜索与推荐系统工程师,以及关注RAG技术演进与落地的中高级研发人员。; 使用场景及目标:①指导企业构建具备多步推理、动态规划与跨源协作能力的下一代RAG系统;②评估与选型支持Agentic RAG的底层引擎平台,重点考察数据融合、分析能力、LLM友好性与安全性;③理解Elasticsearch等一体化平台如何整合向量搜索、ES|QL分析、MCP工具调用与可观测性,实现从简单问答到智能决策的跃迁。; 阅读建议:此资源以架构演进和平台能力为核心,建议结合实际业务场景,重点关注四大能力的落地要求与对比分析,理解“一站式AI平台”相较于单点向量数据库的优势,并参考Elastic的技术实现路径进行系统设计与技术选型。

2025-09-08

Elastic Support 概述 - 潘宁,赵守连,李洋 20251028

内容概要:本文介绍了Elastic支持服务的整体架构与核心功能,涵盖全球覆盖、产品专长和优质客户体验三大支柱。重点展示了Elastic AI支持助手的演进路径及其在智能搜索、语义理解和生成式AI方面的应用,同时详细说明了支持门户的功能、案例提交流程及严重性分级机制。通过真实用例演示,深入剖析了ELK多产品环境下数据接入失败与时断时续问题的排查过程,涉及配置兼容性、性能瓶颈、分片策略、ILM设计缺陷等多个技术层面,并给出了系统性的优化方案。; 适合人群:使用Elastic Stack(如Elasticsearch、Kibana、Logstash等)的技术人员、运维工程师、架构师以及企业IT决策者,尤其是面临复杂环境故障排查与性能调优挑战的中高级技术人员;同时也适用于关注AI驱动技术支持发展的技术管理者。; 使用场景及目标:① 学习如何高效利用Elastic支持门户和服务体系解决实际问题;② 掌握常见数据接入异常与性能瓶颈的分析思路与调优方法;③ 了解AI支持助手的工作原理及其在技术支持中的应用场景;④ 提升对DSE(指定支持工程师)服务价值的理解,优化企业级支持资源配置。; 阅读建议:建议结合Elastic官方文档与支持门户实践操作,重点关注故障排查逻辑与性能优化策略,在真实环境中验证文中提出的配置调整与架构改进措施,以增强问题诊断能力与系统稳定性。

2025-10-28

Elasticsearch APM 和 EDOT 的实践与探索

内容概要:本文介绍了Elastic APM与OpenTelemetry(OTel)的基本概念、核心组件及其在可观测性领域的应用,重点阐述了Elastic如何通过原生支持OTLP协议实现与OpenTelemetry的无缝集成,并推出专为其优化的Elastic OpenTelemetry发行版(EDOT)。文章详细说明了APM的核心事件类型(Transaction、Span、Error、Metrics),OpenTelemetry的工作原理与优势,以及EDOT的架构、支持的SDK版本和部署实践。同时展示了如何通过Docker Compose搭建演示环境,实现日志、指标和追踪数据的采集与可视化。; 适合人群:具备一定可观测性基础知识,从事DevOps、SRE、后端开发或系统监控相关工作的技术人员,尤其是正在评估或实施OpenTelemetry与Elastic集成方案的团队。; 使用场景及目标:①理解APM在分布式系统性能监控中的作用;②掌握OpenTelemetry作为标准化遥测数据采集框架的优势;③实现从传统APM向OpenTelemetry的平滑迁移;④利用EDOT构建统一、可扩展的可观测性平台; 阅读建议:建议结合官方文档和演示仓库实际操作部署流程,重点关注EDOTCollector配置、环境变量替换与Elasticsearch集成细节,深入理解数据流路径与语义规范一致性设计。

2025-09-25

01-基于Elastic地理位置检索-搜索附近 j九川 线上 20250806

内容概要:本文详细介绍了基于Elasticsearch的地理位置检索技术,特别是“搜索附近”的应用场景。文章首先介绍了讲师背景,包括丰富的行业经验和多个知名平台的认证。接着阐述了地理位置检索在实际生活中的多种应用,如地理围栏、社交APP的“附近的人”、疫情追踪、物流追踪等。随后对比了不同技术方案(MySQL/PostgreSQL、Redis GEO、Elasticsearch、MongoDB、PostGIS)在查询性能、扩展性、功能性和适用数据量方面的优劣,强调了Elasticsearch在复杂搜索和地理信息处理上的优势。最后深入讲解了Elasticsearch支持的地理位置检索类型,包括`geo_point`、`geo_shape`和`geo_polygon`,并展示了具体的使用案例和技术细节。 适合人群:具备一定编程基础,尤其是对地理信息系统和Elasticsearch感兴趣的开发人员和技术爱好者。 使用场景及目标:①实现基于地理位置的搜索功能,如“搜索附近的XX”(医院、外卖、学校、商场等);②构建地理围栏,监控用户是否进入特定区域;③进行实时轨迹分析和安全预警;④优化LBS(基于位置的服务)系统的性能和扩展性。 阅读建议:本文不仅提供了Elasticsearch地理位置检索的技术实现方法,还对比了多种技术方案,因此在阅读时应重点关注Elasticsearch的优势及其具体应用场景,并结合实际项目需求选择合适的技术方案。此外,对于地理坐标系统(如WGS84、GCJ-02、BD-09等)的理解也有助于更好地掌握地理位置检索技术。

2025-08-07

01-基于Elastic地理位置检索-搜索附近 j九川 线上 20250806.zip

01-基于Elastic地理位置检索-搜索附近 j九川 线上 20250806.zip

2025-08-07

【大数据知识库】基于Qwen2.5-14B与Elasticsearch的智能问答系统设计:传统检索与向量检索对比及RAG架构应用

内容概要:本文详细介绍了基于Qwen2.5-14B与Elasticsearch的大数据知识库智能问答系统。首先,文章对比了传统检索和向量检索的特点,指出向量检索在语义理解和复杂查询方面的优势。接着,阐述了RAG(检索增强生成)架构的工作流程及其核心价值,包括提高回答准确性、实时更新知识库、减少生成内容的虚构风险等。最后,重点介绍了基于大模型和Elasticsearch构建的智能问答系统的技术方案和实测效果,展示了其在处理多格式文档、专业术语理解等方面的高效性,并提出了进一步优化的方向,如模型微调、向量化改进和文档切分粒度调整。 适合人群:对大数据处理、自然语言处理和智能问答系统感兴趣的开发人员、数据科学家和技术爱好者。 使用场景及目标:①构建针对非公开文档的高效、精准、自然语言交互式智能知识问答系统;②支持多格式文档的统一处理与检索;③提升企业内部知识管理和信息获取的效率;④应用于客服机器人、知识问答、技术支持、教育与学习等领域。 其他说明:本文不仅介绍了技术原理,还提供了具体的实施步骤和代码示例,如使用FSCrawler进行文档摄取、利用text2vec模型进行向量化等。此外,文章强调了系统在实测中的高效性和准确性,并展望了未来的技术优化方向,鼓励读者结合自身业务场景深入探索和实践。

2025-07-10

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除