ElasticSearch es 参数调优

本文探讨了Elasticsearch(ES)6.5.4版本中的一些关键参数调整,包括_routing用于优化特定查询性能,number_of_replicas设定以平衡数据可靠性和资源利用,keyword与text字段类型的选择对查询效率的影响,以及JVM内存配置以提升系统性能。通过这些调优策略,可以更好地适应不同业务场景的需求。

首先上版本号:ES 版本:6.5.4

一般来说ES 的默认参数已经能够满足大部分场景需求,不需要也不建议我们去调节。

但是根据不同的业务场景我们还是可以做一些系统调优,接下来针对常用的参数总结如下:

1、_routing 

     参数作用是将文档路由到不同的分片,默认是根据hash(document’s _id ) 进行路由的,默认情况,如果我们根据某些条件进行检索时,由于没有指定_routing,请求会分发到所有分片进行检索然后聚合。

这对于某些场景明显是比较耗时的,哪些场景我们等下描述,首先我们讲下问什么耗时?第一:查询请求会分发到所有分片里,分发的过程首先会浪费时间,另外我们知道木桶效应,只要一个节点的查询速度慢,会导致整个请求的查询时间变慢。

那什么场景适合自定义_routing 呢?像根据用户ID 查询订单这个场景,单个用户的订单量一般是比较少的,这种场景很适合我们自定义_routing, 这样我们查询某个用户订单的时候制定uid,就可以快速查询到,节点越多,这个优化的效果约明显。

2、number_of_replicas

      参数定义我们数据存储的分片数,主要是为了数据的高可靠性,一个副本坏掉可以从其他副本恢复,对于我们大部分日志系统来说数据丢失也可以接受的,对于日志系统来说我们是可以把副本数设置为1甚至是0

3、文件的字段类型  keyword 和text 

     从ES 5.2 版本以后ES 去掉了String类型,增加了keyword 和text 字段类型

     对于text字段类型的字段在创建时会默认进行分词,例如:我喜欢编程, 存储时会存储三个倒序       索引,{我,喜欢,编程} => 文档ID。

     如果我们需要精确查询的时候,比如根据订单ID去查询的时候,一般情况我们是需要精确查询       的,这时候我们在创建索引的时候就需要把字段设置为keyword类型的,不仅可以节省磁盘空         间,而且也会明显提升我们的查询效率。

4、JVM 

     一般建议 Xms 和 Xmx设置一样大,对于低于64G内存的机器,设置为不大于机器内存的1/2. 留足够大空间给pageCache, 对于大于64G内存的机器,不建议Xmx > 32G,可以部署多个进程去充分利用内存。

<think>嗯,用户想了解Elasticsearch性能优化的最佳实践,包括调整参数和索引策略。我需要根据提供的引用资料来整理回答。首先,引用[1]提到优化需要多方面的措施,比如索引设计、硬件配置和查询。引用[2]详细讲了索引设计的关键策略,比如分片设置、冷热数据分离和索引模板。引用[4]解释了倒排索引的重要性,分片数设置的建议。还有引用[3]提到缓存策略和监控的重要性。 我应该分几个部分来组织回答。首先是索引设计优化,包括分片大小、冷热架构、索引模板和滚动管理。然后是硬件和参数配置,涉及内存、线程池、刷新间隔和合并策略。接下来是查询优化,比如避免通配符、使用过滤上下文、分页控制和预索引。最后是维护与监控部分,包括缓存、定期维护和监控工具。 需要注意用户可能对分片设置的具体数值和合并策略的参数不太清楚,要给出具体的建议值。同时,要引用对应的文献,比如分片大小不超过50GB来自引用[2],冷热架构在引用[2]也有提到。线程池调整在引用[3]可能涉及,但引用中没有直接说明,可能需要确认。不过根据现有资料,尽量关联正确的引用。 还要生成相关问题,可能需要从不同的优化方面提问,比如分片策略、查询、硬件配置等。确保问题覆盖用户可能关心的其他方面。最后检查LaTeX格式是否正确,比如变量用$...$,独立公式用$$...$$,但当前内容中可能没有数学公式,所以暂时不需要处理。回答结构要清晰,分点说明,帮助用户一步步理解优化方法。</think>### Elasticsearch性能优化最佳实践分步说明 #### 一、索引设计优化 1. **分片策略** - 单分片数据量控制在$20GB-50GB$,避免分片过大影响查询性能[^2] - 索引创建时预定义分片数,遵循公式:$$总分片数 = \lceil 数据总量/40GB \rceil$$[^4] - 采用`冷热数据分离架构`,热节点使用SSD存储高频访问数据 2. **索引结构优化** - 禁用非必要字段的`_source`和`_all`元数据字段[^4] - 对数值型字段使用`doc_values`替代fielddata ```json PUT my_index/_mapping { "properties": { "price": { "type": "integer", "doc_values": true } } } ``` #### 二、硬件与参数配置 1. **内存管理** - JVM堆内存设置为物理内存的50%,不超过32GB[^3] - 设置`indices.breaker.total.limit`为70%堆内存 2. **线程池** ```yaml thread_pool: write: size: 4 queue_size: 1000 search: size: 8 queue_size: 2000 ``` 根据CPU核心数动态调整线程池参数[^1] 3. **写入优化参数** - 增大`refresh_interval`至30s-60s - 设置`index.translog.durability`为async异步提交[^2] #### 三、查询性能优化 1. **查询语句规范** - 避免使用`wildcard`通配符查询,改用ngram分词[^4] - 对范围查询使用`range`替代`script`脚本[^2] - 使用`filter`上下文替代query上下文,利用bitset缓存[^3] 2. **分页优化** - 深度分页使用`search_after`替代`from/size` - 设置`max_result_window`限制返回条数 #### 四、维护与监控 1. **缓存策略** - 开启`query cache`和`request cache` - 定期清除不再使用的索引缓存 2. **段合并优化** - 设置`index.merge.policy.max_merged_segment`为5GB - 调整`max_thread_count`为CPU核数的50%[^2]
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值