独家特性 | 腾讯云大数据ES:一站式索引全托管,自治索引大揭秘!

【Elasticsearch】使用Data Streams 在Elasticsearch中,数据流(Data Streams)是一种用于处理时间序列数据的高级功能,它提供了一种高效、可扩展的方式来管理和查询大量的时序数据。• 注意:不能使用`PUT /<target>/_doc/<_id>`格式添加文档,而应使用`PUT /<target>/_create/<_id>`。• 自动滚动(Rollover):当达到预设的条件(如索引大小或文档数量)时,数据流会自动创建一个新的后端索引,以确保性能和可扩展性。由于数据流是追加只读的,不能直接更新或删除文档。 阅读详情

5110c5284d1e3a5ea03514fbbe77b25e.gif

作者:腾讯云大数据ES团队

自治索引是腾讯云ES推出的一站式索引全托管解决方案,应用于日志分析、运维监控等时序数据场景,提供分片自动调优、查询裁剪、故障自动修复、索引生命周期管理等功能。可在降低运维与管理成本的同时,提高使用效率与读写性能。

背景概述

腾讯云ES团队从大量的运营实践中发现,索引的合理设置是业务高效稳定运行的基础,现实中索引管理不仅使用门槛高、运维投入高,更是很多线上问题的源头,目前ES 60%的运维管理操作、60%的基础线上问题都与此相关,是使用ES的关键痛点。 

基于此背景,腾讯云ES推出了业界首创的自治索引,能实现索引创建、滚动、降冷、删除、故障自动修复的全自动化,并实现分片的智能调优,大幅减少了运维故障和资源投入。

本篇文章将从PB级日志数据管理的挑战出发,为大家介绍自治索引的基本概念以及优势特性。

PB级日志数据管理的挑战

日志场景的特点

从我们大量的线上运营与实践来看,目前日志场景主要存在以下几个特点:

  • 写入的数据中均带有时间戳,例如常见的@timestamp之类的字段;

  • 写入吞吐量大,写入TPS最高可达千万/秒,对可用性的要求高;

  • 存在近热远冷的特性,例如刚上报的日志数据,往往读写频率较高,而随着时间推移,频率则慢慢降低;

  • 写多读少,大部分的请求往往用于数据写入,而只有少部分的请求进行数据查询;

  • 某些行业存在明显的波峰波谷效应,例如在出行行业,数据量在下雨天、节假日骤增,而平常则趋于平缓;

  • 数据的价值密度低,在排障时,我们需从海量的日志数据中提取关键信息。

别名方案

基于以上提到的特点,我们先来看到在日志数据管理中常见的解决方式-别名方案,这种方式需要创建ILM、索引模版、初始索引,然后通过别名写入数据。这种方式虽然提供了完整的日志解决方案,但从业务实际接入与维护情况看,仍然存在一定的使用和管理开销。包含两部分: 

1)数据接入阶段:ES索引创建,用户需要理解较多概念原理,比如索引模板、别名、生命周期管理、索引滚动等,功能过于灵活、接口使用繁杂;产生一定的学习和使用门槛。 

2)数据维护阶段,包括:

  • 故障处理,比如写入快速放量,因索引分片数设置不合理,产生写入拒绝,需要手动调整分片数并滚动索引;以及机器故障场景下,需及时滚动索引,保障写入正常,降低业务影响。

  • 日常维护:需定期收敛集群分片数,降低集群元数据管理压力,提高集群稳定性。

总结一下,基于别名的日志数据管理存在一定的运营投入、处理不及时会产生业务影响等问题。

447923d9d7b9350508e202340a291ab4.png

别名方案使用流程

社区Datastream方案

再来看下ES社区推出的Datastream功能,Datastream通过结合ILM,可满足日志等时序数据管理需求。社区Datastream解决方案的优势在于,提供了相对完整的日志类时序数据管理功能,并且ILM、索引模板、DataStream,经过多个版本迭代,功能已成熟稳定。

但从数据来看,Datastream并没有非常广泛的使用,原因是:   

1)使用相对复杂,创建时依赖ILM、模板等多个组件,并需强制结合index模版使用;

2)字段名限制:写入数据必须带名称为@timestamp的时间字段;

3)写入模式限制:只支持追加写,数据更新场景不太适用;

另外,ILM自动滚动索引虽然可以解决单分片过大的问题,但是在业务写入快速放量,机器故障等场景中仍存在无法覆盖的问题。

2e7d0871a600a3cc8755154d7df2bac5.png

Datastream写入示意图

自治索引概述

我们针对目前业界在日志分析、运维监控等场景中使用ES遇到的索引分片设置难题、索引生命周期管理开销大、平台运维成本高等问题,自研了自治索引,作为一站式的索引全托管解决方案,自治索引提供了分片自动调优、查询裁剪、故障自动修复、索引生命周期管理等特性,同时在写入层做了相应的优化,整体而言,自治索引可在降低运维与管理成本的同时,极大的提高使用效率以及在写入与查询时的性能。

cdeba0d1d4e615d0befd1adef9ccc444.png

自治索引与传统方案对比

基本概念

自治索引是基于Elasticsearch的Datastream内核进行增强实现的,内部关联了一个或多个backing index,即后备索引,我们可以把后备索引理解为自治索引的子索引,数据的写入、查询、滚动、降冷、删除等操作都是针对后备索引的,后备索引处于隐藏的状态,我们在使用与操作时,只需要关注自治索引这一个对象就可以了,无需维护复杂的索引间的关系。

edd228672c9523b55df73f70cea8ef48.png

自治索引基本概念

写入模式

自治索引支持追加模式写入和时间分区模式写入两种数据写入模式,其中: 

  • 追加模式写入适用于日志等无更新操作的追加写入场景;

  • 时间分区模式写入适用于监控指标等可能有历史数据覆盖更新的场景。   

提交写请求时,自治索引会根据写入模式路由到对应的后备索引上,其中,追加写模式会路由到最新的后备索引,时间分区写模式会路由到数据时间对应的后备索引。

自治索引优势特性

整体而言,自治索引围绕索引从 索引创建-数据写入-分片调优-查询-运维管理等索引使用全流程操作,均提供了相应的特性帮助我们更好进行使用与管理。

优势特性1:高效创建与管理

自治索引的创建和管理相较原生索引以及Datastream更为高效,自治索引内置索引生命周期管理策略、索引模版等,我们只需通过一条命令,即可完成所有配置,无需额外管理ILM、索引模版以及别名等的成本。

优势特性2:写入性能优化

针对“0点索引滚动,产生写入抖动”、“百万级TPS,CPU无法充分利用”、“自带主键写入性能衰减1+倍”等问题,自治索引在写入层均做了相应的优化,相比开源版本ES,写入稳定性提升80%,TPS提升1倍+,资源利用率提高50+%,性能提升45%。数据如下:

写吞吐(TPS)CPU拒绝率
开源版本76W31%0.3%
腾讯云ES169W(+121%)49%(+58%)0%
写入性能对比

优势特性3:分片自动调优

自治索引支持基于业务负载自动调整分片,兼容写入快速增长、周期性波动、写入毛刺等场景,并且和节点数量关联,使得业务在写入快速放量、扩缩容等场景下,不会出现写入拒绝或需要手动调整的情况。

优势特性4:查询裁剪

自治索引可结合查询条件,快速跳过无关索引,降低分片发送请求数量,实现索引级别的快速裁剪,将PB级日志查询性能提升3倍以上。

优势特性5:故障自动修复

当监测到索引分片所在的某个节点故障导致索引red或者写入异常时,自治索引会自动滚动出新的后备索引,保证新的后备索引分片都分布在正常节点,保证写入的可用性,整个过程无需人工干预,业务无感知,全部由自治索引自动完成。

7d3caf97ae0ca6bbc76829be2bb50f8e.png

故障自动修复示意图

总结

本文详细的介绍了由腾讯云ES自研的自治索引应用场景及其优势特性,通过与传统方案的对比,可以看出在日志分析、运维监控等时序数据场景中,自治索引对 创建-写入-调优-查询-运维 等索引使用全流程操作均做了能力上的增强,能够有效的应对海量数据的管理,欢迎大家使用腾讯云ES与自治索引!

简单讲讲ES在大数据规模下的性能问题与解决方案(一) 众所周知,在处理大规模数据量的时候,我们的传统关系型数据库,例如MySQL,Oracle等...它们对于这些大规模数据的处理与计算是非常吃力的,甚至于在内存资源不足的情况下导致在mysql中查询数据失败的情况,甚至由于数据的规模较大,会消耗更多的磁盘空间,得不偿失。它们都是非关系型数据库,都是以K-V的形式存储数据,在查询的时候,可以通过key来精确命中需要的value。通过综合应用这些详细的解决方案,可以有效地提升Elasticsearch在大数据量下的查询性能,并保持毫秒级别的查询速度。 阅读详情

相关推荐

【信息科学与工程学】【数据中心】第三十五篇 云计算数据中心的学科知识04

编号学科(课程)核心知识点在云计算/云存储/云网络/云安全/云MaaS中的作用代表教材/资料/论文 + 数学方程式列表工业界应用D1421​云原生数据库:TiDB​HTAP(混合事务/分析处理)、分布式SQL、水平扩展、强一致(Raft)、自动故障恢复、与MySQL兼容、TiFlash列式引擎提供弹性扩展的分布式数据库;支撑高并发在线交易与实时分析教材:《TiDB in Action》PingCAP(2020) 论文:《TiDB: A Raft-based HTAP Database》(2017)

weixin_49199313的博客 417

ES中数据流Data streams详解

数据流是可以跨多个索引存储仅限于追加存储的时间序列数据,同时为请求提供单个命名资源。 从定义中我们可以看出,数据流的一些特点: 1、可以跨多个索引存储 2、仅限追加存储,不支持删除、修改操作 3、时间序列数据 4、为请求提供单个命名资源,可以理解成天然具有公共的别名

弹指天下 7642

STM32F407+LAN8720A+LwIP实战:FreeModbus TCP从机功能开发指南

本文详细介绍了基于STM32F407和LAN8720A硬件平台,结合LwIP协议栈实现FreeModbus TCP从机功能的开发指南。内容涵盖硬件连接、LwIP移植、FreeModbus TCP从机实现、任务调度及调试技巧,为工业控制领域的以太网通信开发提供实用参考。

weixin_29190651的博客 547

elasticsearch-datastream总结

一,什么是datastream datastream是为了更方便的管理时序数据的生命周期而基于ilm扩展的特殊功能。 二,datastream的特点 1,文档必须有@timestamp字段 2,定义ilm时无需定义iml别名 3,可以对datastream进行插入和查询文档,但不能删除和更新文档 4,datastream像别名一样管理多个真实索引,索引的名称规则: .ds-datastream名称-yyyy.MM.dd-六位序列号 如下(假设datastream名称是test-data-stream)

epitomizelu的专栏 988

保姆级教程:在阿里云ECS上用Docker一键部署EMQX MQTT服务器(Ubuntu 20.04)

本文提供在阿里云ECS上使用Docker一键部署EMQX MQTT服务器的详细教程,涵盖从实例创建、Docker环境配置到EMQX部署与优化的全流程。适合物联网开发者快速搭建高效、安全的MQTT消息服务器,适用于智能家居、工业物联网等场景。

weixin_28739079的博客 309

【PT+Arduino+OneNET基础教程1】PacketTracer中MCU芯片编程教程(零基础入门)

PacketTracer软件内MCU芯片编程入门 零基础

ChloeMax_的博客 9457

Elastic:集群相关知识点总结(一)数据流 Data Stream、索引生命周期 ILM、可搜索快照 searchable snapshots、跨集群搜索 CCS、跨集群复制 CCR

0.引言 集群管理是ES的核心重点,因此相关的知识点至关重要,本期主要针对数据流、索引生命周期、可搜索快照、跨集群搜索、跨集群复制进行讲解 1.数据流 Data Stream 官方文档:Data streams 针对数据流的讲解,之前已经做过详细的梳理,可以参考以下博文: 深入了解数据流 1.1 数据流六连问 要掌握数据流使用,就要理解以下几点: 1、数据流常用的使用场景? 2、如何通过索引模版创建数据流? 3、索引模版是如何与数据流绑定的? 4、索引与数据流的关系? 5、数据流与ILM的关系? 6、如何通

55555的博客 1856

配置 Druid 数据源及密码加密-SpringBoot 实战基础

在SpringBoot中配置 Druid 数据源及密码加密的方法前文集成 MyBatis Plus,实现了一组增删改查接口。在启动服务时,从控制台中可以看出 Spring Boot 默认使用 Hikari 作为数据库连接池,Hikari性能很优秀。在国内使用较多的连接池还属阿里开源的 Druid,中文发音为德鲁伊。Druid 结合了 C3P0、DBCP 等 DB 池的优点,同时还加入了日志监控,可以很好的监控 DB 池连接和 SQL 的执行情况。...

m0_67698950的博客 955

【腾讯云产品最佳实践】小白萌新 ES Serverless 之初体验——好用!

众所周知,云计算和五服务器架构的快速发展,越来越多的企业和个体开发者对相关的需求和使用剧增,而且 ES Serverless作为一种基于云计算的无服务器搜索引擎,以其简单、弹性和低成本而备受技术圈的关注。作为开发者,又初入无服务器领域,但是最近刚好体验了一下腾讯云的ES Serverless,被该服务深深吸引到了,也真真切切感受到了它的优势和带来的便捷,非常的不错。正好又赶上双十一采购月的“顺风车”,作为开发者肯定会采购一波云服务产品。

全沾软贱开发攻城狮 1万+

LVGL 实战:虚拟列表与对象复用机制在嵌入式GUI中的性能优化

本文深入探讨LVGL虚拟列表与对象复用机制在嵌入式GUI中的性能优化实践。通过复用机制动态管理UI对象,大幅降低内存占用,实现无限滚动列表的流畅体验。文章详细解析核心算法、内存优化策略及跨平台适配技巧,帮助开发者在资源受限设备上高效处理大量数据展示。

rice5的博客 1107

基于opencv自定义网格板的相机标定软件源码

本软件开发版使用的是VS2013和QT5.7, 安装版的需要安装VS核心库(目录里的vcredist_x64.exe, 已安装VS的不需要)。采用强大的模板匹配算法,本程序适用于自定义大范围网格标定(本例程网格使用的是自己画的网格板31*21*10cm),网格点识别度高,矫正速度快,精度高。 使用步骤 第1步: 打开图片,打开标定工具GridCalibTool.exe, 然后选择打开一张待标定的图(CalibFiles文件夹下的500.jpg)。如下图: 第2步: 提取待标定区域(去掉多余部分,只保留网

qq_33138437的博客 1123

行业独家 | 腾讯云ES:PB日志查询大提速,自治索引查询裁剪详解!

作者:腾讯云大数据ES团队背景概述日志场景一般具有明显的冷热特点,比如保留7天的日志数据,但P90查询都集中在近12小时,并且在查询日志时一般使用索引前缀查询,比如filebeat-*,这种查询比指定索引名查询,耗时会长3倍以上。而日志场景一般具有近热远冷的特性,例如刚上报的日志数据,往往读写频率较高,而随着时间推移,频率则慢慢降低,因此,通配查询的必要性并不强,如果能根据该特性进行查询剪枝,将能...

cloudbigdata的博客 1762

保姆级教程:在华为云Ubuntu服务器上快速搭建RAGflow开发环境(避坑指南)

本文提供了一份在华为云Ubuntu服务器上快速搭建RAGflow开发环境的保姆级教程。针对网络拉取镜像等常见问题,详细介绍了从服务器选型、系统优化、Docker配置到RAGflow部署与验证的全流程,并给出生产环境调优建议,帮助开发者高效避坑,快速构建企业级应用环境。

weixin_29250403的博客 87

一文通览腾讯云大数据ES、数据湖计算、云数据仓库产品新版本技术创新

腾讯全球数字生态大会-大数据专场要点分享

小虚竹的专栏 1万+

VMware下载与安装

一、VMware下载 二、VMware安装

欢迎订阅我的“JAVA全栈开发笔记(全)”专栏,价格优惠,仅需19.9元。 317

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

开源搜索引擎Elasticsearch:感谢腾讯云对Elastic社区的开源贡献

近日,全球知名开源搜索引擎Elasticsearch在官网发文感谢腾讯云对Elastic社区的开源贡献。信中提到,迄今为止,腾讯云在Elasticsearch项目中积极参与,提交了204个PR,其中有150个已经成功合并到Elasticsearch的代码库,是Elasticsearch 社区目前已知的第三方公司维度全球最高的贡献水平。

csdnsqst0046的博客 208

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

夏日特惠 | 腾讯云大数据ES 首月1折秒杀,速抢!!

腾讯云大数据 Elasticsearch Service开箱即用的云端全托管 ELK 服务,集成 X-Pack 特性,独有高性能自研内核、自治索引、集群巡检等优势能力,轻松构建日志分析、信息检索、数据分析等业务。腾讯云大数据 ES是什么?腾讯云大数据 Elasticsearch Service(ES)是基于开源搜索引擎 Elasticsearch 打造的高可用、可伸缩的云端全托管的 Elastic...

cloudbigdata的博客 904

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

腾讯云ES RAG最佳实践:百行代码轻松实现帮助文档的智能问答

导读腾讯云大数据Elasticsearch Service首发上线ES 8.8.1版本,提供强大的云端AI增强与向量检索能力,支持在端到端搜索与分析平台中实现自然语言处理、向量搜索以及与大模型的集成,10亿级向量检索平均响应延迟控制在毫秒级,助力客户实现由AI驱动的高级搜索能力,为搜索与分析带来全新的前沿体验。本文将结合腾讯云ES与ChatGPT,演示如何通过百行代码轻松实现ES帮助文档的智...

cloudbigdata的博客 1033

首家!腾讯云ES通过中国信通院检索增强生成(RAG)技术要求专项测试

2024年4月26日,在中国信通院组织的首家检索增强生成(RAG)技术要求专项测试中,腾讯云ES完成了专项测试的全部内容,成为首个完成此项测试的产品。

cloudbigdata的博客 362

紧密合作三周年,Elastic颁发腾讯云2022年杰出开源贡献奖

12月14日,Elastic与腾讯云合作三周年线上峰会圆满落幕,此次峰会以“开放共赢,重塑搜索的力量”为主题,汇聚了众多优秀的技术专家、企业大咖,双方共话合作历程,探讨未来的业务发展。Elastic公司创始人兼CTO Shay Banon、渠道及生态联盟全球VPScott Musson 与腾讯云副总裁 黄世飞、腾讯云副总裁 刘煜宏、腾讯云副总裁 陈平出席峰会。会上,鉴于腾讯云在Elasticsea...

cloudbigdata的博客 1555

年度盘点:20+主流数据库重大更新及技术要点回顾

数据库行业年度回顾技术的多元化探索与产品的差异化发展2021年,各家数据库产品都取得了长足的进步。首先,从技术角度上看,分布式、云及云原生、多模、HTAP、AI自治等代表性技术,成为了各大...

杨建荣的学习笔记 5286

Elasticsearch 7.X data stream 深入详解

直接从一个新概念的认知过程说下 elasticsearch data stream。记得第一次听到 data stream 的时候,还是去年下半年在公交大巴车上早 8 点听魏彬老师的直播,...

铭毅天下Elasticsearch 9169

Elastic:Data stream 在索引生命周期管理中的应用

在我之前的文章中,我已经介绍了 Elasticsearch 的索引生命周期管理: Elasticsearch:Index 生命周期管理入门 Elastic: 使用索引生命周期管理实现热温冷架构 索引生命周期管理对于 Time Series Data (TSD) 非常有用。那么到底什么是 Time Series Data 呢? 什么是 Time Series Data? TSD 始终与时间戳关联,该时间戳标识创建事件时该数据的时间点事件。 例如,它可以是传感器数据(温度测量)或安全设备

Elastic 中国社区官方博客 8303

ES数据库介绍

今天项目通过python用到了ES数据库,第一次遇到,记录学习一下【ES三周年】ElasticSearch数据库简单介绍-腾讯云开发者社区-腾讯云es数据库简介_es数据库介绍_少年阿文的博客-优快云博客。

Yolo_lxt的博客 4678

大规模数据量下ES如何实现高性能检索?

ElasticSearch,是基于Lucene库的搜索引擎。它提供了一个分布式、多租户的全文搜索引擎,具有HTTP web接口和无模式JSON文档。根据DB引擎排名,Elasticsearch是最受欢迎的企业搜索引擎。ES的特点是分布式、高扩展以及近实时。那么,大规模数据量下ES是如何实现高性能检索的呢?回到我们的文章标题,ES是如何实现高性能模糊查询的呢?ES通过分词然后对每一个单词及其对应文档建立倒排索引,使得能够快速根据关键词找到对应文档id;

itigoitie的博客 2765
上一篇: Flink JobManager内存管理机制介绍与调优总结
下一篇: 行业独家 | 腾讯云ES:PB日志查询大提速,自治索引查询裁剪详解!
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值