es 在数据量很大的情况下（数十亿级别）如何提高查询效率啊？

最新推荐文章于 2025-07-07 14:03:18 发布
转载 最新推荐文章于 2025-07-07 14:03:18 发布 · 910 阅读 · 12 ·
CC 4.0 BY-SA版权
原文链接：https://my.oschina.net/u/3959491/blog/3027231
文章标签：

#数据库 #面试 #大数据

本文分析了在面对数十亿级别数据时，如何提高Elasticsearch（ES）的查询效率。重点介绍了性能优化的关键——filesystem cache，强调数据预热、冷热分离、文档模型设计和分页性能优化的重要性。通过合理配置和设计，可以显著提升ES的查询速度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

面试题

es 在数据量很大的情况下（数十亿级别）如何提高查询效率啊？

面试官心理分析

这个问题是肯定要问的，说白了，就是看你有没有实际干过 es，因为啥？其实 es 性能并没有你想象中那么好的。很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下 5~10s，坑爹了。第一次搜索的时候，是 5~10s，后面反而就快了，可能就几百毫秒。

你就很懵，每个用户第一次访问都会比较慢，比较卡么？所以你要是没玩儿过 es，或者就是自己玩玩儿 demo，被问到这个问题容易懵逼，显示出你对 es 确实玩儿的不怎么样？

面试题剖析

说实话，es 性能优化是没有什么银弹的，啥意思呢？就是不要期待着随手调一个参数，就可以万能的应对所有的性能慢的场景。也许有的场景是你换个参数，或者调整一下语法，就可以搞定，但是绝对不是所有场景都可以这样。

性能优化的杀手锏——filesystem cache

你往es里写的数据，

最低0.47元/天 解锁文章

200万优质内容无限畅学
ES 在数据量很大的情况下（数十亿级别）如何提高查询效率？
悟已往之不谏，知来者之可追
03-27 3700
背景 这个问题是肯定要问的，说白了，就是看你有没有实际干过 es，因为啥？其实 es 性能并没有你想象中那么好的。很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下 5-10s ，坑爹了。第一次搜索的时候，是 5~10s ，后面反而就快了，可能就几百毫秒。 你就很懵，每个用户第一次访问都会比较慢，比较卡么？所以你要是没玩儿过 es，或者就是自己玩玩儿 demo，被问到这个问题容易懵逼，显示出你对 es 确实玩儿的不怎么样？ 说实话，es 性能优化是没有什么银弹的，啥意思呢？就
ES 在数据量很大的情况下（数十亿级别）如何提高查询效率啊？
黎明就要到来
05-24 900
举个例子吧，假如你每页是 10 条数据，你现在要查询第 100 页，实际上是会把每个 shard 上存储的前 1000 条数据都查到一个协调节点上，如果你有个 5 个 shard，那么就有 5000 条数据，接着协调节点对这 5000 条数据进行一些合并、处理，再获取到最终第 100 页的 10 条数据。里面了，就可以确保热数据的访问性能是很高的。举个例子，拿微博来说，你可以把一些大 V，平时看的人很多的数据，你自己提前后台搞个系统，每隔一会儿，自己的后台系统去搜索一下热数据，刷到。
elasticsearch性能优化
qq_44816343的博客
10-12 569
一、配置文件调优 elasticsearch.yml 内存锁定 bootstrap.memory_lock：true 允许 JVM 锁住内存，禁止操作系统交换出去。 zen.discovery Elasticsearch 默认被配置为使用单播发现，以防止节点无意中加入集群。组播发现应该永远不被使用在生产环境了，否则你得到的结果就是一个节点意外的加入到了你的生产环境，仅仅是因为他们收到了一个错误的组播信号。ES是一个P2P类型的分布式系统，使用gossip协议，集群的任意请求都可以发送到集群的任一节点，然后e
ES的性能调优技巧
ytp552200ytp的博客
11-13 3481
问题导读：1、调优配置文件如何设置？ 2、系统层面应该如何进行调优？ 3、从ES使用方式角度如何进行调优？一、配置文件调优elasticsearch.yml1、内存锁定bootstrap.memory_lock：true允许JVM锁住内存，禁止操作系统交换出去。2、zen.discoveryElasticsearch默认被配置为使用单播发现，以防止节点无意中加入集群。组播发现应该永远不被使用在生产环境了，否则你得到的结果就是一个节点意外的加入到了你的生产环境，仅仅是因为他们收到了一个错误的组播信号。ES是一
ES 性能优化
树和叶的博客
05-17 306
性能优化 缓存 es 的搜索引擎严重依赖于底层的filesystem cache，你如果给filesystem cache更多的内存，尽量让内存可以容纳所有的idx segment file 索引数据文件，那么你搜索的时候就基本都是走内存的，性能会非常高。 数据预热 es 集群中每个机器写入的数据量还是超过了filesystem cache一倍，比如说你写入一台机器 60G 数据，结果filesystem cache就 30G，还是有 30G 数据留在了磁盘上。 其实可以做数据...
ES 性能调优，这可能是全网最详细的 Elasticsearch 性能调优指南
Elastic开源社区
04-11 3万+
Elasticsearch 读写性能调优 ES 架构和Mapping优化
ES性能优化和注意事项
ALONG的博客
01-26 1863
当然，最好同时考虑原则 2。考虑一下 node 数量，一般一个节点有时候就是一台物理机，如果分片数过多，大大超过了节点数，很可能会导致一个节点上存在多个分片，一旦该节点故障，即使保持了 1 个以上的副本，同样有可能会导致数据丢失，集群无法恢复。此外，Elasticsearch 作为搜索引擎时，主要承载 query 的匹配和排序的功能，那数据的存储类型基于这两种功能的用途分为两类，一是需要匹配的字段，用来建立倒排索引对 query 匹配用，另一类字段是用做粗排用到的特征字段，如 ctr、点击数、评论数等等。
【ElasticSearch】ElasticSearch在数十亿级别数据下，如何提高查询效率？ 性能优化
九师兄
06-20 957
1.概述 转载：https://zhuanlan.zhihu.com/p/60458049 这里面主要有个filesystem cache 服务这个想法很好。 面试题 es 在数据量很大的情况下（数十亿级别）如何提高查询效率啊？ 面试官心理分析 这个问题是肯定要问的，说白了，就是看你有没有实际干过 es，因为啥？其实 es 性能并没有你想象中那么好的。很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下 5~10s，坑爹了。第一次搜索的时候，是5~10s，后面反而就快了，可.
es性能优化
最新发布
C18298182575的博客
07-07 584
1，硬件至少4C8G多节点2，索引分片合理 比如5主1副，根据数据量计算分片刷新时机30s3，写入批量多线程并行4，查询并行查询。
ES性能调优详解
弹指天下
11-10 5950
网上关于ES性能优化的文章太多，这里参考官网收集整理下。
es优化
1.01^365
04-27 831
1.Mapping中能设置成keyword ，优先设置为keyword。这样lunece就不会大量的分词，加长插入时间。2.PUT /speedtest8/_settings{"number_of_replicas": 0,"refresh_interval" :"60s"}先将副本数设置为0.如果不需要实时取得数据， 可以修改refresh 修改刷新时间。这边的refresh...
ES性能优化：全网最全的一篇
一只小星星
07-30 4006
更多的字段对搜索也是有影响的，ES 非常依赖于底层的文件系统缓存，我们肯定想把更多的数据（index segment）缓存起来，这样可以提升性能。的方式来进行处理的。使用 Bulk 的方式有利于提高写入的性能，这个其实也很好理解，如果链接不是长链接，每写入一条数据都进行一次 TCP 链接的过程，那效率是多低啊。对于写入的耗时还是很明显的，从一开始每个批次 3200 条数据的耗时 4 分 39 秒，一路优化到最后的 3 分 53 秒，需要注意的是，部分配置是有特定的使用场景的。
ES性能优化
12-24 503
查第一条很慢，后面就快了 缓存预热 给ES设置的内存太小 给ES分配的内存一般要大于数据量的一半 写入ES的数据最好小于等于或者是略大于ES的filesystem cache的内存容量 复杂查询性能低 尽量不要做复杂查询 深度分页和跳页查询很慢 根据ES搜索原理可知，深度分页和跳页查询执行的操作太多，故而很慢 scroll api，一页一页的往下翻 search_after，一页一页的往下翻 ...
ES性能调优
m0_67827628的博客
09-19 352
ES是天生自带分布式属性的，并且ES的分布式系统是基于对等网络的，节点与节点之间的通信十分的频繁，延迟对于ES的用户体验是致命的，所以对于ES来说，低延迟的网络是非常有必要的。就短信发送而言并无太大问题，但是在项目初期，在建立短信发送记录的时候，并没有在意索引结构的设计，而是将新产生的数据不断的追加到一个索引中，但是后期发现短信发送量级过于庞大，每天都产生上几百GB甚至是TB级的日志数据，后期的优化手段就是把一个单独的大索引，通过Rollover Index，每天创建一个单独的索引。短期内问题得到了解决。
ES性能优化最佳实践- 检索性能提升30倍！
热门推荐
Angus
10-26 91万+
虽然Elasticsearch是一款强大的搜索引擎技术，但在超大规模数据检索中，尤其是在处理大量检索关键词（150个以上）、对多个字段执行检索并使用脚本排序时，可能会面临严重的性能问题。 在我们实际的业务中，检索的时间可能到达300秒，无法满足实时交互需求。本文带你打开一个新思路。在未添加任何资源的情况下，我把性能提升了30倍，请求时间控制在10s内。多数请求能在3秒5秒内完成。一起来看看我是如何做到的叭。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值