行业独家 | 腾讯云ES:PB日志查询大提速,自治索引查询裁剪详解!

Elasticsearch查询裁剪 如果source有成千上百个字段,查询的数据没法看某些敏感字段不能随意展示响应数据较大影响网络带宽。 阅读详情

e4737e146e2cf3b074dbb579cc2bdd97.gif

作者:腾讯云大数据ES团队

背景概述

日志场景一般具有明显的冷热特点,比如保留7天的日志数据,但P90查询都集中在近12小时,并且在查询日志时一般使用索引前缀查询,比如filebeat-*,这种查询比指定索引名查询,耗时会长3倍以上。而日志场景一般具有近热远冷的特性,例如刚上报的日志数据,往往读写频率较高,而随着时间推移,频率则慢慢降低,因此,通配查询的必要性并不强,如果能根据该特性进行查询剪枝,将能够极大的提升查询效率。

Search流程浅析

在ES中,客户端请求可以发送到集群的任何节点,每个节点都知道任意文档所处的位置,然后转发这些请求,收集数据并返回给客户端,接收客户端请求的节点称为协调节点。协调节点将请求转发给保存数据的数据节点,每个数据节点在本地执行请求,并将结果返回给协调节点,协调节点收集完数据后,将每个数据节点的结果合并为单个全局结果并进行排序,最终将该结果返回给客户端。

基于search的搜索操作,搜索任务会被分为两个阶段执行,即query then fetch,这里需要两个阶段才能完成搜索的原因在于,通过search执行搜索任务,在查询的时候无法提前知道文档位于哪些分片,因此索引的所有分片(某个数据副本)都要参与搜素(query),然后协调节点将结果合并,再根据文档ID获取(fetch)文档内容。例如,有10个分片,我们需要查询返回前10个匹配度最高的文档,那么每个分片都需要查询出当前分片的Top10,协调节点将10✖️10的结果再次排序,返回最终Top10的结果给客户端。我们可以简单的看下query then fetch的流程。

cb2ba93318c893ad14249ca4fad51b9d.png

分布式搜索流程

查询裁剪概述

从对search流程的分析来看,我们发现耗时主要集中在query阶段,由于索引前缀查询匹配到的索引的分片数量大,遍历这些分片的网络请求总耗时很高。为了降低查询延迟,结合日志场景中查询行为冷热明显的特点,我们在自治索引上做了查询裁剪优化,在查询时,协调节点可根据查询条件中指定的时间范围,结合后备索引元数据中记录的时间范围信息,提前进行数据预过滤,降低分片发送请求的数量,使得PB级日志查询性能可提高3倍以上。

aa0bdd68c81fde39c8a1697bb355f295.png

查询裁剪示意图

注:理论上,所需查询的时间范围与数据总的实际时间范围差距越大,查询裁剪优势越明显。 

使用介绍

通过DSL range命令执行查询任务,示例如下:

GET /index_name/_search
{
  "query" : {
      "constant_score" : {
          "filter" : {
              "range" : {
                  "@timestamp" : {
                      "gte" : "2022-11-01T03:07:34.348+08:00",
                      "lt" : "2022-11-02T03:07:34.348+08:00"
                  }
              }
          }
      }
  }
}

‍

通过SQL方式执行查询任务,示例如下:

POST /_sql?format=txt
{
"query": "SELECT * FROM index_name WHERE @timestamp < '2022-11-01'"
}

‍

总结

本文从日志场景的查询特点出发,对ES的search流程进行了简单的分析,并介绍了查询裁剪的基本原理与使用方式。欢迎大家使用腾讯云ES与自治索引~

您可能需要的链接;

腾讯云ES:一站式索引全托管,自治索引独家特性大揭秘!

腾讯云ES:自治索引常见使用方式介绍

腾讯云ES:一站式接入,数据链路可视化重磅来袭!

腾讯云ES:通过Filebeat采集TKE容器日志

腾讯云ES:图文详解,你想了解的Elastic APM这里全都有

腾讯云ES:Elasticsearch ILM Shrink Action源码优化与探讨

log4pb, pb的日志组件, 后台线程记录日志 // Description: pb日志组件,把log4pb.pbd, callback.pbd加入到开发的libary列表中 // 1. log4pb调用演示例子, 思想仿log4j // 2. 集成对象到application, // 3. 组件文件: log4pb90.pdb + callback.pbd, // 4. SQL目录包含一些数据库对象,目前支持postgresql和MS SQL(修改下表log4pb_log可支持其他数据库) // SQL文件在appliation的SQLCA.database中执行 // 5. 演示集成代码已表示出[*** log4pb integrated code],可搜索出来, copy to your application // 6. 日志可以同时记录到数据库,文件(目录log4pb下),和邮件发送,可扩展其它方式(如发送QQ消息) // 7. 日志是异步记录的(每个记录方式开了个线程在后台负责记录处理),大大提高应用程序性能 // 8. 功能可以通过数据库表选择配置(如,多少种记录方式,各线程工作频率) // 9. 日志的数据库记录方式,可以配置缓区大小,对于联机事务较多的应用,可配置大点,避免频繁写数据库 ----------------- 安装说明: 1. demo是postgresql的ODBC的数据源,demo的sql语句支持postgresql和MS SQL,对其它db,稍修改sql语句即可 1. 根据目标数据库小修改sql语句 2. demo的ini文件要配置 3. 包提供了demo集成的源代码和logpb90.pbd文件 4. 目前只提供pb90 5. 目前版本已基本稳定(用过一段时间了),支持log到pb和文件,QQ消息和email后续版本会提供 立即下载

相关推荐

PB下文件日志/数据库日志功能(源码)

PB下文件日志/数据库日志功能,类似java的log4j功能,作用就不说了,见识过log4j功能的人应该都深有体会。 功能模块化,调用简单。

E往无前 | get正确使用姿势!腾讯云大数据ES日志场景优化案例回顾

随着ELK方案在开源日志分析领域越来越流行,各种业务场景也给ELK方案带来了越来越多的挑战。本文将回顾一次真实客户案例,从使用姿势上,提供一些大集群、多日志主题场景下的集群优化思路。

cloudbigdata的博客 1350

PB全局函数,记录打印日志

可在各模块调用, 记录各用户打印日志, 控制打印次数;

PB级强大日志收集智能分析系统-LCA

强大的日志收集分析系统,可实时收集常用的软件的日志,比如nginx,当每次添加一个需要收集的日志文件时可以实时进行收集,还可以实时收集指定目录下所有按时间切分的日志,可以通过api调用主动推送日志到日志分析系统,4. 可以对收集的日志进行分析,智能分析,然后按规则告警(nginx状态不是200,php文件报错),5. 实现如阿里sls一般查询日志

jc2255的博客 3224

动态规划与状态压缩:从TSP问题理解算法优化核心思想

动态规划是一种通过将复杂问题分解为重叠子问题并存储中间结果来避免重复计算的核心算法思想,广泛应用于路径优化、资源分配和序列决策等场景。其核心原理在于最优子结构和无后效性,通过状态设计和状态转移方程,将指数级复杂度问题转化为多项式时间可解。在工程实践中,状态压缩技术常被用于高效表示集合状态,例如使用二进制位运算来操作城市访问集合,从而大幅提升算法效率。本文以经典的旅行商问题(TSP)为例,深入剖析如何运用动态规划与状态压缩技术,将暴力穷举的指数级复杂度优化为可管理的计算量,为解决组合优化问题提供了重要的方法论

weixin_32075843的博客 365

将3DMax编辑的动画,导入给已经绑定蒙皮好的模型给Unity使用

现在程序猿想做独立游戏,即容易,也难。 说容易,引擎越来越傻瓜化。 说难,到哪去找靠谱的美术? 好在伟大的AssetStore(还有淘宝上)有大批不赖的资源可以用。 现成的模型,是好,但是,没有配套的动作,却是一件让人头疼的事情,即使用IK动画,也不能完美的弥补这一缺陷。 虽然Unity具备 retargeting 功能,但是,也不是万能的,很多情况下,非标准的骨骼会导致

正经的时候都在打游戏 1万+

PB日志管理系统

PB日志管理系统 http://download.youkuaiyun.com/source/738743 PB下文件日志/数据库日志功能,类似java的log4j功能,作用就不说了,见识过log4j功能的人应该都深有体会。功能模块化,调用简单。 数据库日志功能,在代码备注中有完整的数据库表结构代码,可以直接使用。

jview的专栏 1395

pb日志查看记录

因为日志的种类比较多,这里记录下来,方便查看! 1 pb下发日志查看 目前已经确定220-224 603都是这么查看的。手工下发的业务应该都是这么查看的,其实只要去确定步骤2中的序号,就可以直接进入步骤4直接确认(记得将2中的序号+1) 1.通过《手工业务》可以查看需要下发业务的模块编码,可以用来确认下发的序号是否是自己所发的业务。 /2.  2.对于pb下发的手工业务可以去批量应用服务...

weixin_34327223的博客 731

易智联LM401模块学习(一)——初识Lora

Lora

weixin_46046597的博客 1057

AIOps探索 | 如何用大模型构建高效运维知识及智能问答平台(1)

好久没有分享AIOps相关干货了,最近大模型这么火,而且我们有客户已经基于大模型构建了知识及智能问答平台,需要在运维领域结合使用场景进行应用。为此,楼主从头到尾声梳理了一遍大模型在运维领域构建知识及智能问答平台的应用场景、技术实现,总结出来供大家一同探索,希望对大家理解和运用大模型有一定帮助~

智能运维及数据中台探索 2814

作业帮 PB 级低成本日志检索服务

更多内容关注微信公众号:fullstack888日志是服务观察的主要方式,我们依赖日志去感知服务的运行状态、历史状况;当发生错误时,我们又依赖日志去了解现场,定位问题。日志对研发工程师来说...

qianshanding0708的博客 405

LLaMA Factory添加新模型template的实战解析

本文主要介绍了LLaMA Factory添加新模型template的实战解析,希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 实战解析 2.1 检查代码 2.2 修改代码

herosunly的博客 19万+

Day 4 - PB级规模数据的Elasticsearch分库分表实践

Day 4 - PB级规模数据的Elasticsearch分库分表实践   从2018年7月在开始在某阿里云数据中心部署Elasticsearch软件,到2018年12月共创建了15个集群,服务于客户的文档检索、交通视频检索、地理信息检索、日志安全审计等业务。其中数据规模最大的一个业务,共有800张表,7万亿条数据,每天新增500亿条记录,数据要求存储半年,单条记录大小1KB左右,存储规模约1...

周红伟讲AI 1022

OpenGL ES 3.0 从入门到精通系统性学习教程

因为在工作中频繁使用 OpenGL ES 做一些特效、滤镜之类的效果,加上平时学到的的知识点也比较细碎,就想着去系统地学习下 OpenGL ES 相关开发知识,并将学习过程记录下来。

字节流动 3万+

Arduino 系列:Arduino Due 系列 (基于 ATSAM3X8E)_(5).电源管理与电压调节

电源管理与电压调节是确保嵌入式系统稳定性和可靠性的关键环节。通过合理选择电源输入方式、使用高效的电压调节器、设计适当的滤波电路和实施动态电源管理,可以有效提高系统的性能和寿命。同时,使用电源调试工具和编写调试代码,可以帮助开发者及时发现和解决问题。希望本文档能为使用 Arduino Due 的开发者提供有用的信息和指导。

2401_87715305的博客 1310

PB级数据实现秒级查询ES的安装

什么是ES?ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java语言开发的,并作为Apache许可条款下的开放源码发布,是一种流行的企业级搜索引擎。ElasticSearch用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。 本教程使用软件为6.4.3版本...

趣学程序 976

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

PB数据毫秒级搜索之Elasticsearch(二)基础了解

首先进行安装(官网下载就行啦) 下载资源包然后启动在bin 下面有个脚本 ./bin/elasticsearch -d 是后台运行ES基础概念索引 含有相同属性的文档集合ES在创建索引时,默认是创建5个分片,一个备份,这个数量是可以修改的,分片是只能创建时修改,备份可以动态修改。在索引中,还存在几个概念:分片: 每个索引都有多个分片吧,每个分片是一个luc...

博客简介 415

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

ES(Elasticsearch)介绍,以及ES和MySQL,HDFS,Kafka的详细区别

本文重点介绍 同为存储; es和mysql,hdfs,kafka的区别 以及应用场景

qq_55006020的博客 2364

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

ES-简介

由于Elasticsearch的功能强大和使用简单,维基百科、卫报、Stack Overflow、GitHub等都纷纷采用它来做搜索。可以在笔记本电脑上运行,也可以在承载了PB级数据的上千台服务器的集群上运行。能胜任上百个服务节点的扩展,并支持 PB 级别的结构化或者非结构化数据。一个分布式的实时文档存储,每个字段可以被索引与搜索;垂直领域:各大电商平台、OA系统、站内搜索。使用门槛低,易扩展,对于小微企业友好。搜索引擎:如百度、搜狗、谷歌、必应等。PB级数据,近实时搜索,秒级!开源免费,上手简单。

蓝天⊙白云的博客 415

PB级规模数据的Elasticsearch统一日志存储冷热分离原理和实践

PB级规模数据的Elasticsearch统一日志存储冷热分离原理和实践 一、目标 最近在做公司的全量日志收集和检索,需要统一公司各个业务线常用的应用业务日志,统一存储,统一查看,统一前端UI组件,保障查询,写入性能,降低重复开发成本。这里提供一些实践中的心得。 一、参考文献 1.elastic官方指导手册: link. 2.阿里云pb级日志数据分库分表实践: link. 3.阿里云冷热节点数据迁...

leon 2万+

服务127.0.0.1禁用_如何从Windows 8.1搜索引擎禁用Bing

服务127.0.0.1禁用Windows 8.1 includes online search results from Bing whenever you search for something on your system. Since many people aren’t going to want this, here is how to get rid of this behavior...

426

ES-搜索和查询

​ 使用query关键字进行检索,倾向于相关度搜索,故需要计算评分。搜索是Elasticsearch最关键和重要的部分。​ 概念:相关度评分用于对搜索结果排序,评分越高则认为其结果和搜索的预期值相关度越高,即越符合搜索预期值。在7.x之前相关度评分默认使用TF/IDF算法计算而来,7.x之后默认为BM25。​ 排序:相关度评分为搜索结果的排序依据,默认情况下评分越高,则结果越靠前。

蓝天⊙白云的博客 2182

es查询性能优化

1.如果条件允许,内存和cpu一定要足够多,要超过总数据量的1半以上最好,当然数据量很大的时候要在经常查询数据的2倍以上。 2.数据分离存储,经常查询的数据放一些索引,不经常查询的放一部分索引,然后通过唯一的id关联即可,需要查那些不经常查的数据的时候通过id查询即可,这里可以和hbase联合使用。把条件字段和经常查看的字段放在es中,不经常查看的放hbase中,这样既可以省es的空间,性能效果也俱佳 3.数据大时,每个索引的数据量不要太大,一般很大的时候可以每天一个索引,或者每月一个索引,具体看业务来

花&败 5627

ES大数据量下查询优化

转载自:https://zhuanlan.zhihu.com/p/60458049 面试题 es 在数据量很大的情况下(数十亿级别)如何提高查询效率啊? 面试官心理分析 这个问题是肯定要问的,说白了,就是看你有没有实际干过 es,因为啥?其实 es 性能并没有你想象中那么好的。很多时候数据量大了,特别是有几亿条数据的时候,可能你会懵逼的发现,跑个搜索怎么一下5~10s,坑爹了。第一次搜索的时候,是5~10s,后面反而就快了,可能就几百毫秒。 你就很懵,每个用户第一次访问都会比较慢,比较卡么?所以.

大懒熊的博客 5336
上一篇: 独家特性 | 腾讯云大数据ES:一站式索引全托管,自治索引大揭秘!
下一篇: 11.11 | 移动推送/BI/ES/云数仓Doris/智能数据分析,19.9元秒杀,首单2.5折起,大数据爆品速抢!...
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值