[EKL-踩坑记] —— ES虚拟内存设置

最新推荐文章于 2024-07-30 14:40:57 发布
最新推荐文章于 2024-07-30 14:40:57 发布
阅读量814 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： ELK 文章标签： es Elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/syy19940213/article/details/89556645
在32G8核环境下，将ES的JVM内存从20GB降至16GB，观察到Lucene分配空间增加，系统吞吐量提升。本文探讨ES内存配置与系统性能之间的关系。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 看图说话
  • 问题描述:
    • 系统环境: 32G 8核
    • es版本:6.1.3

          从上图我们可以看到, 在15:30左右,我将es的jvm内存空间由20Gb  调成成了16GB,lucene分配的空间反而升起来,整个系统的吞吐量也升了起来.

 

  • 求证
ELK ElasticSearch、Logstash和Kibana的部署
zhangyasuo的博客
12-30 665
前言 日志分析是运维工程师解决系统故障，发现问题的主要手段。日志系统主要包括系统日志、应用程序日志、和安全日志。 通常日志被分散的存储在不同的服务器上。如果服务器的数量是数十台或超过百台，查阅日志需要一一登录这些服务器，很繁琐且效率低下，为此，可以使用集中化的日志管理。 集中化管理日志之后，日志的统计和分析又成为了一件比较麻烦的事，传统做法是使用grep、awk、wc等Linux命令实现统计和分析，但是对于更高要求的查询、排序和统计，还有所不足。 开源的实时日志分析ELK平台能够完美的解决上述的问题。ELK
解决es虚拟内存
xzpdxz的博客
06-24 520
问题 max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] 解决办法 宿主机执行 [ ~ ]# sudo sysctl -w vm.max_map_count=262144 生效 [ ~ ]# sudo sysctl -p
ElasticSearch之虚拟内存
Jackie的家
11-25 709
vm.max_map_count
es最大虚拟内存区域增加到[262144]
0.0雨的博客
05-16 355
es最大虚拟内存区域增加到[262144]
部署ES报错最大虚拟内存太小
nlhkfcdxb的博客
07-16 246
报错：max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
搜索引擎Elasticsearch （ES）学习
小小白兔兔
07-08 465
ES基本概念：https://developer.51cto.com/art/201904/594615.htm 反向索引又叫倒排索引，是根据文章内容中的关键字建立索引。 搜索引擎原理就是建立反向索引。 Elasticsearch 在 Lucene 的基础上进行封装，实现了分布式搜索引擎。 Elasticsearch 中的索引、类型和文档的概念比较重要，类似于 MySQL 中的数据库、表和行。 Elasticsearch 也是 Master-slave 架构，也实现了数据的分片和备份。 Elasticsea
Python库 | spdx_py_build_tool_ekl-0.1.tar.gz
03-11
标题中的"Python库 | spdx_py_build_tool_ekl-0.1.tar.gz"表明这是一个针对Python编程语言的开发工具，具体来说是一个名为"spdx_py_build_tool_ekl"的库，版本号为0.1，其源代码被压缩在tar.gz格式的文件中。...
Python库 spdx_py_build_tool_ekl-0.1 详细介绍
资源摘要信息:"Python库 | spdx_py_build_tool_ekl-0.1.tar.gz" 标题中提到的“Python库”是指一个用Python语言编写的软件库，它可以包含一系列的模块和函数，供开发者在编写代码时调用，以实现特定的功能或算法。...
ekl组件_elasticsearch-6.8.6.tar.gz
03-17
elk组件下载，统一版本号6.8.6，linux版本，jdk要求1.8，logstash-6.8.6.tar.gz，kibana-6.8.6-linux-x86_64.tar.gz，elasticsearch-6.8.6.tar.gz，elk stack。
ekl组件_logstash-6.8.6.tar.gz
03-17
elk组件下载，统一版本号6.8.6，linux版本，jdk要求1.8，logstash-6.8.6.tar.gz，kibana-6.8.6-linux-x86_64.tar.gz，elasticsearch-6.8.6.tar.gz，elk stack。
金蝶EAS服务器内存调整脚本(EAS JVM调优)
★【World Of Moshow 郑锴】★
07-19 2096
服务器内存调整脚本 适用版本:eas7.5 虽然版本是7。5的，但是调优思路确实持久深远的，包含未来的版本，也是这种调优思路。 步骤1、下载并解压jdk1.5.0_22_win64.zip到Kingdee/eas目录下，修改文件名sunjdk64。 jdk下载地址：ftp://ftpdev.kingdee.com/工具/JDK/sun jdk（oraclejdk）/JDK1.5/jdk1.5...
ES生产集群部署之重要的操作系统设置（swapping、virutal memory等）
07-02 1101
1、系统的重要配置 理想情况下，es应该单独在一个服务器上运行，能够使用服务器上的所有资源。为了达到上述目标，我们需要配置操作系统，来允许用户运行es并且获取比默认情况下更多的资源。 在生产环境中下面的一些设置必须配置一下： （1）禁止swapping （2）确保拥有足够的虚拟内存 （3）确保拥有足够的线程数量 开发模式 vs 生产模式 默认情况下，es会假设你是在开发模式下运行的。如果上面的任何配置没有正确的设置，那么会输出一些warning到日志文件中，但是我们还是可以启动es进程的。 但.
创建虚拟机+搭建ES集群
YP_luck的博客
12-04 2933
虚拟机创建 背景 1、centos 7 系统文件 链接: 阿里镜像 2、VMware 关键步骤 文件为你在阿里镜像上下载的文件 问题 1）发现 ens33 没有 inet 这个属性，那么就没法通过IP地址连接虚拟机。 1、root 用户下执行 vi /etc/sysconfig/network-scripts/ifcfg-ens33 2、改为 yes 后重启网卡 sudo service network restart ...
ElasticSearch （ES）
RongYu__的博客
08-27 2196
Elasticsearch的简要介绍和安装;Kibana的安装和介绍;ES的快速入门；IK分词器;field详细介绍
【es】为什么ES和Doris、Kafka等存储都需要调大系统vm.max_map_count的默认值？
u011250186的博客
07-19 337
【es】为什么ES和Doris、Kafka等存储都需要调大系统vm.max_map_count的默认值？
Elasticsearch基础2——es配置文件、jvm配置文件、log4j2.properties配置文件详解
百慕卿君博客
01-15 1万+
es配置文件基本参数详解+测试 jvm配置文件参数详解 log4j2.properties日志配置我呢见核心参数
【ESXi 8】安装ESXi 8.0 虚拟机
热门推荐
VMware, Windows, Linux, Cisco, Container, Kubernetes, Kali
11-07 3万+
博文介绍了安装ESXi 8.0 虚拟机系统的详细步骤。
elasticsearch内存分配设置详解
zyc920716的博客
08-07 1555
Elasticsearch默认安装后设置的内存是1GB，对于任何一个现实业务来说，这个设置都太小了。如果你正在使用这个默认堆内存配置，你的集群配置可能会很快发生问题。   这里有两种方式修改Elasticsearch的堆内存（下面就说内存好了），最简单的一个方法就是指定ES_HEAP_SIZE环境变量。服务进程在启动时候会读取这个变量，并相应的设置堆的大小。设置命令如下： export ES
ES性能优化：全网最全的一篇
最新发布
一只小星星
07-30 4005
更多的字段对搜索也是有影响的，ES 非常依赖于底层的文件系统缓存，我们肯定想把更多的数据（index segment）缓存起来，这样可以提升性能。的方式来进行处理的。使用 Bulk 的方式有利于提高写入的性能，这个其实也很好理解，如果链接不是长链接，每写入一条数据都进行一次 TCP 链接的过程，那效率是多低啊。对于写入的耗时还是很明显的，从一开始每个批次 3200 条数据的耗时 4 分 39 秒，一路优化到最后的 3 分 53 秒，需要注意的是，部分配置是有特定的使用场景的。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值