elasticsearch运维实战之2 - 系统性能调优

Elasticsearch架构原理 架构原理本书作为 Elastic Stack 指南,关注于 Elasticsearch 在日志和数据分析场景的应用,并不打算对底层的 Lucene 原理或者 Java 编程做详细的介绍,但是 Elasticsearch 层面上的一些架构设计,对我们做性能调优,故障处理,具有非常重要的影响。所以,作为 ES 部分的起始章节,先从数据流向和分布的层面,介绍一下 ES 的工作原理,以及相关的可控项。各位... 阅读详情

 

elasticsearch性能调优

集群规划

  • 独立的master节点,不存储数据, 数量不少于2
  • 数据节点(Data Node)
  • 查询节点(Query Node),起到负载均衡的作用

Linux系统参数配置

文件句柄

Linux中,每个进程默认打开的最大文件句柄数是1000,对于服务器进程来说,显然太小,通过修改/etc/security/limits.conf来增大打开最大句柄数

* - nofile 65535

虚拟内存设置

max_map_count定义了进程能拥有的最多内存区域

sysctl -w vm.max_map_count=262144

修改/etc/elasticsearch/elasticsearch.yml

bootstrap.mlockall: true

修改/etc/security/limits.conf, 在limits.conf中添加如下内容

* soft memlock unlimited
* hard memlock unlimited

memlock 最大锁定内存地址空间, 要使limits.conf文件配置生效,必须要确保pam_limits.so文件被加入到启动文件中。

确保/etc/pam.d/login文件中有如下内容

session required /lib/security/pam_limits.so

验证是否生效

curl localhost:9200/_nodes/stats/process?pretty

磁盘缓存相关参数

vm.dirty_background_ratio 这个参数指定了当文件系统缓存脏页数量达到系统内存百分之多少时(如5%)就会触发pdflush/flush/kdmflush等后台回写进程运行,将一定缓存的脏页异步地刷入外存;

vm.dirty_ratio

  1. 该参数则指定了当文件系统缓存脏页数量达到系统内存百分之多少时(如10%),系统不得不开始处理缓存脏页(因为此时脏页数量已经比较多,为了避免数据丢失需要将一定脏页刷入外存);在此过程中很多应用进程可能会因为系统转而处理文件IO而阻塞。

  2. 把该参数适当调小,原理通(1)类似。如果cached的脏数据所占比例(这里是占MemTotal的比例)超过这个设置,系统会停止所有的应用层的IO写操作,等待刷完数据后恢复IO。所以万一触发了系统的这个操作,对于用户来说影响非常大的。

sysctl -w vm.dirty_ratio=10
sysctl -w vm.dirty_background_ratio=5

为了将设置永久保存,将上述配置项写入/etc/sysctl.conf文件中

vm.dirty_ratio = 10
vm.dirty_background_ratio = 5

swap调优

swap空间是一块磁盘空间,操作系统使用这块空间保存从内存中换出的操作系统不常用page数据,这样可以分配出更多的内存做page cache。这样通常会提升系统的吞吐量和IO性能,但同样会产生很多问题。页面频繁换入换出会产生IO读写、操作系统中断,这些都很影响系统的性能。这个值越大操作系统就会更加积极的使用swap空间。

调节swappniess方法如下

sudo sh -c 'echo "0">/proc/sys/vm/swappiness'

io sched

如果集群中使用的是SSD磁盘,那么可以将默认的io sched由cfq设置为noop

sudo sh -c 'echo "noop">/sys/block/sda/queue/scheduler'

JVM参数设置

在/etc/sysconfig/elasticsearch中设置最大堆内存,该值不应超过32G

ES_HEAP_SIZE=32g
ES_JAVA_OPTS="-Xms32g"
MAX_LOCKED_MEMORY=unlimited
MAX_OPEN_FILES=65535

indice参数调优

以创建demo_logs模板为例,说明可以调优的参数及其数值设定原因。

PUT _template/demo_logs
{
      "order": 6,
      "template": "demo-*",
      "settings": {
         "index.merge.policy.segments_per_tier": "25",
         "index.mapping._source.compress": "true",
         "index.mapping._all.enabled": "false",
         "index.warmer.enabled": "false",
         "index.merge.policy.min_merge_size": "10mb",
         "index.refresh_interval": "60s",
         "index.number_of_shards": "7",
         "index.translog.durability": "async",
         "index.store.type": "mmapfs",
         "index.merge.policy.floor_segment": "100mb",
         "index.merge.scheduler.max_thread_count": "1",
         "index.translog.translog.flush_threshold_size": "1g",
         "index.merge.policy.merge_factor": "15",
         "index.translog.translog.flush_threshold_period": "100m",
         "index.translog.sync_interval": "5s",
         "index.number_of_replicas": "1",
         "index.indices.store.throttle.max_bytes_per_sec": "50mb",
         "index.routing.allocation.total_shards_per_node": "2",
         "index.translog.flush_threshold_ops": "1000000"
      },
      "mappings": {
         "_default_": {
            "dynamic_templates": [
               {
                  "string_template": {
                     "mapping": {
                        "index": "not_analyzed",
                        "ignore_above": "10915",
                        "type": "string"
                     },
                     "match_mapping_type": "string"
                  }
               },
               {
                  "level_fields": {
                     "mapping": {
                        "index": "no",
                        "type": "string"
                     },
                     "match": "Level*Exception*"
                  }
               }
            ]
         }
        }
      "aliases": {}
   }

replica数目

为了让创建的es index在每台datanode上均匀分布,同一个datanode上同一个index的shard数目不应超过3个。

计算公式: (number_of_shard * (1+number_of_replicas)) < 3*number_of_datanodes

每台机器上分配的shard数目

"index.routing.allocation.total_shards_per_node": "2",

refresh时间间隔

默认的刷新时间间隔是1s,对于写入量很大的场景,这样的配置会导致写入吞吐量很低,适当提高刷新间隔,可以提升写入量,代价就是让新写入的数据在60s之后可以被搜索,新数据可见的及时性有所下降。

"index.refresh_interval": "60s"

translog

降低数据flush到磁盘的频率。如果对数据丢失有一定的容忍,可以打开async模式。

"index.translog.flush_threshold_ops": "1000000",
"index.translog.durability": "async",

merge相关参数

"index.merge.policy.floor_segment": "100mb",
"index.merge.scheduler.max_thread_count": "1",
"index.merge.policy.min_merge_size": "10mb"

mapping设置

对于不参与搜索的字段(fields), 将其index方法设置为no, 如果对分词没有需求,对参与搜索的字段,其index方法设置为not_analyzed

多使用dynamic_template

集群参数调优

{
   "persistent": {
      "cluster": {
         "routing": {
            "allocation": {
               "enable": "new_primaries",
               "cluster_concurrent_rebalance": "8",
               "allow_rebalance": "indices_primaries_active",
               "node_concurrent_recoveries": "8"
            }
         }
      },
      "indices": {
         "breaker": {
            "fielddata": {
               "limit": "30%"
            },
            "request": {
               "limit": "30%"
            }
         },
         "recovery": {
            "concurrent_streams": "10",
            "max_bytes_per_sec": "200mb"
         }
      }
   },
   "transient": {
      "indices": {
         "store": {
            "throttle": {
               "type": "merge",
               "max_bytes_per_sec": "50mb"
            }
         },
         "recovery": {
            "concurrent_streams": "8"
         }
      },
      "threadpool": {
         "bulk": {
            "type": "fixed"
            "queue_size": "1000",
            "size": "30"
         },
         "index": {
            "type": "fixed",
            "queue_size": "1200",
            "size": "30"
         }
      },
      "cluster": {
         "routing": {
            "allocation": {
               "enable": "all",
               "cluster_concurrent_rebalance": "8",
               "node_concurrent_recoveries": "15"
            }
         }
      }
   }
}

避免shard的频繁rebalance,将allocation的类型设置为new_primaries, 将默认并行rebalance由2设置为更大的一些的值

避免每次更新mapping, 针对2.x以下的版本

"indices.cluster.send_refresh_mapping": false

调整threadpool, size不要超过core数目,否则线程之间的context switching会消耗掉大量的cpu时间,导致load过高。 如果没有把握,那就不要去调整。

定期清理cache

为避免fields data占用大量的jvm内存,可以通过定期清理的方式来释放缓存的数据。释放的内容包括field data, filter cache, query cache

curl -XPOST "localhost:9200/_cache/clear"

其它

  • marvel: 安装marvel插件,多观察系统资源占用情况,包括内存,cpu
  • 日志: 对es的运行日志要经常查看,检查index配置是否合理,以及入库数据是否存在异常
Kingbase数据库运维实战:高频问题排查与性能调优指南 本文详细介绍了Kingbase数据库运维中的高频问题排查与性能调优技巧,包括连接类问题、权限认证、SQL性能分析、参数调优及兼容性配置等实战经验。通过具体案例和命令示例,帮助数据库管理员快速解决常见问题并优化数据库性能,提升运维效率。 阅读详情

相关推荐

es客户端工具近实时检索原理说明:refresh_interval调优

深入解析es客户端工具实现近实时检索的核心机制,重点探讨refresh_interval参数对搜索可见性的性能影响及合理配置策略,帮助提升es客户端工具在高频写入场景下的响应效率与数据一致性。

weixin_42576186的博客 1010

ES高级操作手册

当ES扩容缩容时,若分片太大,分片初始化会很慢,此时可选择修改ES配置加快recovery速度。若是生产环境ES在对外提供服务,es默认配置可能导致对外服务抖动,也可以通过修改配置降低recovery速度。es默认限制了并行恢复的数量,速度等。

东境物语 2万+

ES实战:同义词映射的配置策略与性能调优指南

本文深入探讨了Elasticsearch中同义词映射的实战配置与性能优化。详细对比了索引时与查询时两种应用模式的优劣与适用场景,提供了应对多义词、控制索引膨胀、优化查询性能的具体策略,并介绍了基于别名的动态更新方案,旨在帮助开发者在提升搜索相关性的同时保障系统性能。

weixin_29200741的博客 131

Elasticsearch:集群关键指标及调优指南

CPU使用率、内存使用率、磁盘使用率、GC频次、fielddata内存使用量的调优策略。

智者千虑,必有一失;愚者千虑,必有一得。 3471

利用AI进行系统性能优化:智能运维的新时代

本项目旨在使用Python构建一个AI驱动的系统性能优化工具,能够实时监控系统性能,分析性能瓶颈,提出优化策略,并自动调优系统配置,从而提高系统的整体性能和稳定性。具体内容包括:环境配置与依赖安装数据采集与处理机器学习模型构建与优化性能监控与调优实际应用案例通过本文的介绍,我们展示了如何使用Python和AI技术构建一个智能化的系统性能优化工具。

Echo_Wish 938

避坑指南:ZYNQ平台上AXI 1G/2.5G Ethernet Subsystem实现IEEE1588的5个关键点

本文详细解析了在ZYNQ平台上使用AXI 1G/2.5G以太网子系统实现IEEE1588精密时间协议(PTP)的5个关键避坑点。从硬件选型、Vivado工程配置到Linux驱动适配,提供了实战经验与优化技巧,帮助工程师在工业自动化、电力系统等场景中实现纳秒级时间同步。

weixin_30687051的博客 239

Elasticsearch常用配置及性能参数

Elasticsearch常用配置及性能参数 cluster.name: estest 集群名称 node.name: “testanya” 节点名称 node.master: false 是否主节点 node.data: true 是否存储数据 index.store.type: niofs 读写文件方式 index.cache.field.type: soft 缓存类型 bootstrap.mlockall: true 禁用swap gateway.type: local 本地存储...

大JAVA解决方案 2266

Windows加域迁移避坑指南:Profwiz工具实战中的5个常见问题与解决方案

本文详细解析了使用Profwiz工具进行Windows加域迁移时的5个常见问题及解决方案,包括临时配置文件生成、密码策略冲突、SID冲突等。通过实战案例和优化技巧,帮助IT运维团队高效完成账户配置文件迁移,确保Active Directory环境下的数据完整性和权限无缝衔接。

q9r0s的博客 525

Elasticsearch:增加 Elasticsearch 写入吞吐量和速度的完整指南

你可以使用多种策略来增加批处理作业和/或在线交易的 Elasticsearch 写容量。在过去的几年中,在写入容量方面,我遇到了瓶颈,并在不同的 ES 群集上犯了许多错误。 尤其是其中一项要求是写入具有严格 SLA 的实时索引以进行读取操作时。 如果你在生产环境中使用 Elasticsearch,很可能你也已经遇到了这些问题,甚至可能犯了一些与过去相同的错误! 我认为,对 ES 如何在幕后工作的总体概述有一个清晰的了解,当你试图从系统中获得最佳性能时,这将大有帮助,因此,让我们开始吧。 简单来说,El

Elastic 中国社区官方博客 1万+

thinkphp5.0.24反序列化漏洞分析

深知大多数初中级Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则近万的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!因此收集整理了一份《Java开发全套学习资料》送给大家,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

m0_67392182的博客 1871

基于python的奥运会历史数据分析【120年】

数据分析实战案例

xff123456_的博客 3339

hive性能调优实战pdf_ES运维实战之系统性能调优

点击上方蓝色字体,选择“设为星标”回复”资源“获取更多惊喜大数据技术与架构点击右侧关注,大数据开发领域最强公众号!大数据真好玩点击右侧关注,大数据真好玩!elasticsearch性能调优集群规划独立的master节点,不存储数据, 数量不少于2数据节点(Data Node)查询节点(Query Node),起到负载均衡的作用Linux系统参数配置文件句柄 Linux中,每个进程默认打开...

weixin_39774044的博客 447

免费教你快速学会分析运算放大器电路(保证学会)

本文旨在学习如何快速简单地对运算放大器进行分析

一名热爱技术的工程师的博客。分享技术干货,记录美好生活。永远相信美好的事情即将发生。 1万+

Linux系统性能调优终极指南:从监控工具到内核优化

1. **监控先行原则**➤ 基础命令:`vmstat 1` `mpstat -P ALL 1`➤ 长期监控:`sar -o /var/log/sa/sa$(date +%d)`2. **瓶颈定位四象限**CPU: us% > 70% → 应用优化 | sy% > 20% → 内核/驱动优化内存:available < 10% → 扩容 | swap使用 > 0 → 紧急处理磁盘:await > 10ms → 存储优化 | %util > 70% → 升级硬盘。

2503_93012393的博客 444

与OpenClaw同类性质的AI智能体框架/工具汇总(小白友好)

OpenClaw的核心定位是「开源、本地优先、可执行真实任务的AI代理」,核心价值是让AI从“聊天”落地到“动手干活”(操控电脑/服务器、处理办公/系统任务)。结合这一核心,以下是同类性质的工具/框架,按「小白易上手程度」排序,每个产品重点说明和OpenClaw的异同、核心优势及适配场景,方便小白快速区分选择。

hy行者勇哥的博客 2111

使用Verilog实现QR分解——嵌入式 [设计与代码]

通过Verilog的硬件描述语言,我们可以将QR分解算法实现为硬件电路,并在嵌入式系统中高效地运行。本文将介绍如何使用Verilog设计并实现QR分解算法,该算法用于将一个矩阵分解为正交矩阵Q和上三角矩阵R。具体而言,QR分解通过对矩阵的列进行正交化处理,得到正交矩阵Q,并将对应的正交化结果存储在上三角矩阵R中。该算法通过将矩阵分解为两个部分,正交矩阵Q和上三角矩阵R,实现了对矩阵的分解和变换。模块,该模块接收待分解矩阵A,并输出正交矩阵Q和上三角矩阵R。下面给出了使用Verilog实现QR分解的源代码。

CodeMaven的博客 623

Elasticsearch的实战应用

Elasticsearch作为一个分布式、实时全文搜索引擎,在实战应用中展现出了强大的搜索和分析能力。通过合理的安装与配置、性能优化、集群管理以及与Logstash和Kibana的集成,可以充分发挥Elasticsearch的优势,为企业和开发者提供高效、可靠的数据处理解决方案。同时,随着技术的不断发展和应用场景的不断拓展,Elasticsearch将继续为企业和开发者带来更多的价值和创新。

m0_70066267的博客 1350

刷机维修进阶教程-----oppo机型 一加 7pro 修复基带 更改参数 实例详细步骤解析

通过课程基本可以了解 1-----oppo机型与一加7机型更改参数的具体步骤解析 2------了解oppo机型开启diag端口的具体步骤 3-----了解一加7这些机型改参数常识 。可以借鉴参考用于其他机型 4-----了解手机基带分区与基带辅助分区的作用 5-----机型参数能读取到 但不能写这种情况如何操作

小马哥的专栏 1482

elasticsearch实战应用

Elasticsearch作为一个分布式、实时全文搜索引擎,在实战应用中展现出了强大的搜索和分析能力。通过合理的安装与配置、性能优化、集群管理以及与Logstash和Kibana的集成,可以充分发挥Elasticsearch的优势,为企业和开发者提供高效、可靠的数据处理解决方案。同时,随着技术的不断发展和应用场景的不断拓展,Elasticsearch将继续为企业和开发者带来更多的价值和创新。

jun778895的博客 1450

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

全面掌握 Linux 系统调优:CPU、I/O、网络与内核参数优化指南

在 Linux 系统运维和性能优化过程中,合理调整 CPU 调度、磁盘 I/O、网络连接以及内核参数,是提升系统稳定性与处理能力的关键。本文将从实际应用出发,系统性地介绍常用调优手段及其适用场景,帮助运维人员和开发者深入理解并掌握 Linux 系统性能优化的核心方法。模块调优手段适用场景CPU高负载、多进程调度场景磁盘 I/O高频读写、大数据备份网络与内核sysctl, 网卡 Bonding高并发、安全防护、网络高可用优化建议:优先级调整:关键业务进程设置高优先级,后台任务设置低优先级。

Z18252142908的博客 1480

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

中间件(ElasticSearch篇)

各类资讯汇总写在前面(声明)ElasticSearchSolr 写在前面(声明) 声明:这里的各个内容基本都是平时看到的一些觉得有用的文章资讯的链接汇总,里面的内容都不是我的创作! 做个快乐的搬运工! ElasticSearch Elasticsearch 6.8 ElasticSearch中文社区 ————————— 初学ElasticSearch 看完这篇还不会 Elasticsearch,我跪搓衣板! ElasticSearch一:分布式搜索引擎的架构 ElasticSearch二:ES写入和查询的流

老苏的一日三浪 488

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Linux 服务器运维全指南:从初始化配置到性能深度调优

在 Linux 服务器生命周期中,初始化配置是搭建稳定运行基石的第一步,而性能调优则是持续提升系统承载能力、响应速度的核心手段。无论是新服务器上线后的基础环境搭建,还是生产环境中高并发、高负载场景下的性能优化,两者缺一不可。本文将整合「服务器初始化」与「CPU、I/O、网络、内核参数调优」两大核心模块,形成一套从基础配置到深度优化的完整运维流程,帮助运维人员高效完成服务器部署与性能提升。

Peterrrr0911的博客 913

RuoYi-Vue搜索功能:Elasticsearch集成

RuoYi-Vue搜索功能:Elasticsearch集成 【免费下载链接】RuoYi-Vue ???? 基于SpringBoot,Spring Security,JWT,Vue & Element 的前后端分离权限管理系统,同时提供了 Vue3 的版本 ...

gitblog_00987的博客 1205
上一篇: ElasticSearch优化系列四:ES的heap是如何被瓜分掉的
下一篇: 聊聊flink的checkpoint配置
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值