ES集群搭建错误～Too many open files

最新推荐文章于 2025-01-03 23:05:46 发布
最新推荐文章于 2025-01-03 23:05:46 发布
阅读量531 收藏
点赞数 1
分类专栏： elasticsearc 文章标签： ElasticSearch elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sonia_liss/article/details/108791722
版权
在搭建Elasticsearch（ES）集群时，遇到了'Too many open files'错误，该错误是因为系统允许的最大打开文件数不足。通过切换到root用户并调整系统参数来解决。此外，还解决了virtual memory too low的问题，通过增加vm.max_map_count的值。完成设置后，ES成功启动，可以通过http://localhost:9200和http://localhost:9200/_cat/health进行健康检查。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

错误记录
(1) too many open files

max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

解决办法：
切换到root用户


vim /etc/security/limits.conf
* soft nofile 300000
* hard nofile 300000
* soft nproc 102400
* soft memlock unlimited
* hard memlock unlimited

查看系统最大文件打开数：
修改前：
在这里插入图片描述
修改后：
在这里插入图片描述
(2) virtual memory too low


                

                
                
        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        


    



                



	

		

			

				
					
NIFI1.21.0_java.net.SocketException:_Too many open files 打开的文件太多_实际操作---大数据之Nifi工作笔记0051

				
			

			

				

					添柴程序猿的专栏
				

				

					05-27
					
					327
					
				

			

		

		

			
				
刷新NIFI的时候报错,java.net.SocketException: 打开的文件太多。这里* 表示,所有用户所有组 都执行这个操作,这个修改最大文件打开数量,在做大数据的时候。还是用的比较多的,因为往往数据处理需要消耗大量的CPU,和大量的资源,系统的限制。注意编辑上面的文件修改一下,文件打开的限制句柄数就可以了,注意。往往让处理会变的很慢或者报错.

			
		

	



                

            
              



	

		

			

				
					
解决elasticsearch“Too many open files in system”问题

				
			

			

				

					dhaibo1986的专栏
				

				

					07-23
					
					1822
					
				

			

		

		

			
				
在前两次集群扩容的过程中，总是会出现Too many open files in system问题。对于这个问题，困扰了一段时间。由于elasticsearch在非root用户下运行，开始以为只需要调整limit.conf中的句柄数配置就好。但是在我的句柄数已经调到655350之后，还出现这个问题。我通过检查 lsof 命令发现单个节点的句柄数并不在一个数量级。

如上图所示。
现在证明造成打开文件过多的问题的思路并非局限在limit配置。还需要考虑elasticsearch何时会创建大批量的文件？
仔细查

			
		

	



              


  
              

                


	

		

			

				
					
ElasticSearch报错Too many open files

				
			

			

				

					wang_quan_li的专栏
				

				

					10-11
					
					935
					
				

			

		

		

			
				
ubuntu14.04
ElasticSearch-2.3.5
ElasticSearch是ElasticSearch用户启动的，

ulimit -a 的结果是1024
但是没有改变的limits.conf如下：

shell> cat /etc/security/limits.conf

* soft nofile 65535
* hard nofile 65535

后来发

			
		

	





	

		

			

				
					
es 容器报错 “Too many open files“ 解决办法

				
			

			

				

					Kainx
				

				

					10-31
					
					5210
					
				

			

		

		

			
				
现象
之前用k8s集群启动了一款中间件内部依赖es做数据存储,查看日志发现es报错"Too many open files
解决办法
进入容器中执行ulimit -a 查看当前用户的文件句柄限制 发现是满足需求的,那么问题就只可能是出现在宿主机机上了执行cat /etc/sysctl.conf查看句柄数配置,如下:
[root@test-node-01 ~]# cat /etc/sysctl.conf
vm.max_map_count=262144
fs.file-max=65536

65536远比日志报

			
		

	



		

			
		



	

		

			

				
					
ES报错too-many-open-files解决

				
			

			

				

					zoubf的专栏
				

				

					05-23
					
					5577
					
				

			

		

		

			
				
昨天，项目的 ElasticSearch 服务挂了，我说的挂可不是进程没了，因为有 Supervisor 保护，而是服务不可用了。以前曾经出现过一次因为 ES_HEAP_SIZE 设置不当导致的服务不可用故障，于是我惯性的判断应该还是 ES_HEAP_SIZE 的问题，不过登录服务器后发现日志里显示大量的「Too many open files」错误信息。那么 ElasticSearch 设置的最

			
		

	





	

		

			

				
					
ES问题---Too many open file

				
			

			

				

					weixin_30443747的博客
				

				

					07-10
					
					360
					
				

			

		

		

			
				
Too many open file现象ES日志报错：too many open file；分析凡是出现此类错误都是因为没有修改系统limit解决修改/etc/security/limits.conf/etc/security/limits.d/90-nproc.conf/etc/profile重启系统，如果有必要需先关闭重分配

转载于:https://www.cnblogs.com/...

			
		

	





	

		

			

				
					
es集群重新分片报错Too many open files解决

					
最新发布

				
			

			

				

					天涯的浪子
				

				

					01-03
					
					365
					
				

			

		

		

			
				
之前open_file_descriptors的值已经非常接近设置的65536。4、重启es集群(做好启master节点)查看es最大打开文件描述符及使用。增加最大打开文件描述符。

			
		

	





	

		

			

				
					
centos报Too many open files in system错误的解决方法

				
			

			

				

					Merandღ的博客
				

				

					10-31
					
					4221
					
				

			

		

		

			
				
最近线上有台服务器隔几天就登录不上，查看/var/log/secure日志也没看到什么有用的信息。


所以我就连上服务器后一直连着不退出，方便在登录不上时查看什么问题，在出现这个问题的时候，在服务器上执行什么命令都报Too many open files in system。

ulimit -a查看当前系统允许打开的最大文件数

查看/etc/security/limits.conf，因为之...

			
		

	





	

		

			

				
					
ES：Too many open files in system

				
			

			

				

					bohu83的博客
				

				

					01-06
					
					1644
					
				

			

		

		

			
				
测试环境es有warn:

[o.e.g.DanglingIndicesState] [elk-app10] failed to list dangling indices
java.nio.file.FileSystemException: /data/elasticsearch/data/nodes/0/indices: Too many open files in system
 at...

			
		

	





	

		

			

				
					
定时频繁的查询es导致Too many open files 与 java.lang.OutOfMemoryError

				
			

			

				

					qq_43380361的博客
				

				

					04-18
					
					636
					
				

			

		

		

			
				
出现这种问题是因为打开过多的句柄(或者请求链接)，超出系统设定的句柄数。我这里是因为系统定时的去调用接口，由于使用线程池并发调用接口次数过多，导致超出系统设定的请求链接次数。上面的问题是句柄数不够，这个出现这种问题的原因是内存不足的造成的，可以从代码优化，以及系统调优两个方面解决。最好的是优化代码，实在不行再去系统调优。3、永久生效（需要重启）1、查看句柄限制数量。

			
		

	





	

		

			

				
					
单节点es 打开文件过多(too many open files)

				
			

			

				

					weixin_44157851的博客
				

				

					06-15
					
					2905
					
				

			

		

		

			
				
今天重启es后，发现es服务是启动了，但是实时数据并未写入es数据库，查看日志发现，报错如下图

我看了下正在运行的es程序打开了多少文件(4274是es的pid）

然后再网上搜了很多，说是要调整linux的系统，将open file改成655350，

系统这边open files 只有1024，远远小于137820，所以es报错了，
vim /etc/security/limits.conf
在文档最后添加，使其永久生效


soft nofile 655350


hard nofile 65535

			
		

	





	

		

			

				
					
too many open files(打开的文件过多)解决方法

					
热门推荐

				
			

			

				

					muzlei的博客
				

				

					11-08
					
					2万+
					
				

			

		

		

			
				
https://www.cnblogs.com/conanwang/p/5818441.html
SU: failed to execute /bin/bash:系统中打开的文件过多
一、产生原因
too many open files(打开的文件过多)是Linux系统中常见的错误，从字面意思上看就是说程序打开的文件数过多，不过这里的files不单是文件的意思，也包括打开的通讯链接(比如sock...

			
		

	





	

		

			

				
					
【踩坑日记】Docker elasticsearch too many open files问题处理

				
			

			

				

					huang_550的专栏
				

				

					09-26
					
					935
					
				

			

		

		

			
				
elasticsearch too many open files

			
		

	





	

		

			

				
					
elasticsearch打开文件数过多“Too many open files in system”

				
			

			

				

					qq_34412985的博客
				

				

					05-18
					
					1711
					
				

			

		

		

			
				
最近公司一个项目es集群连续出现多次打开文件数过多。跟老大讨论并且一起百度翻了翻相关资料。
我们的句柄数已经调到1048576，但是还是一直出现该问题，所以我们考虑es为何会打开如此多文件数。
在这里插入图片描述
下面是搜索的一些信息：
造成打开文件过多的问题的思路并非局限在limit配置。
官网有如下描述：
由于自动刷新流程每秒会创建一个新的段，这样会导致短时间内的段数量暴增。而段数目太多会带来较大的麻烦。 每一
个段都会消耗文件句柄、内存和cpu运行周期。更重要的是，每个搜索请求都必须轮流检查每个段；所

			
		

	





	

		

			

				
					
elasticsearch too many open files 

				
			

			

				

					donlian的专栏
				

				

					07-11
					
					398
					
				

			

		

		

			
				

详细解法见：http://www.elasticsearch.org/tutorials/too-many-open-files/
总体意思是，在linux系统中，使用了非root用户启动的elasticsearch，但Linux对这些非特权用户打开的文件格式做了限制。导致elasticsearch报错。
 
修改方法，使用root编辑/etc/security/limits.conf，在...

			
		

	





	

		

			

				
					
es 二   ----   elasticsearch多节点集群不成功

				
			

			

				

					九十的博客
				

				

					10-26
					
					5713
					
				

			

		

		

			
				
环境：
系统：centos6.5
elasticsearch:1.5.2






本人在构建elasticsearch的时候，出现了一个问题，就是启动第二个es的时候，无法和第一个启动的es形成集群，花费了本人大量的时间，所以，现在把本人解决的方法分享给大家:




网上一般的解决方法就是关闭linux防火墙，但是本人感觉不是很好，所以想要尝试一下打开端口的方式。

			
		

	





	

		

			

				
					
Elasticsearch集群搭建指南

				
			

			

				

					
				

			

		

		

			
				
"本文档详细介绍了如何搭建和配置Elasticsearch集群，强调了满足其基本需求的重要性，包括合适的操作系统和JVM版本。文档适用于Elasticsearch的新手和那些希望优化现有集群的管理员。"  在深入探讨Elasticsearch集群...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值