Elasticsearch: too many open files

最新推荐文章于 2025-01-03 23:05:46 发布
最新推荐文章于 2025-01-03 23:05:46 发布
阅读量921 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/vincent_duan/article/details/107708719
本文解决Elasticsearch在平衡分片时遇到toomanyopenfiles错误的问题,通过修改Ubuntu系统配置增加最大文件描述符数量来解决。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

elasticsearch在平衡分片的过程中，有一些分片尝试过5次移动分片之后，未成功，就会停止移动，查看分片信息，显示too many open files
在elasticsearch日志中有类似下面的日志内容：

... Caused by: java.io.FileNotFoundException: /esdata/elasticsearch/elasticsearch-cluster001/nodes/0/indices/.marvel-20 14.10.27/0/index/_fo.fdt (Too many open files)

解决思路

修改文件 /etc/security/limits.conf 在最后面添加：

* soft  nofile 500000
* hard  nofile 500000

如果是使用的ubuntu系统，还需要修改/etc/sysctl.conf文件，在最下面添加一行：

  fs.file-max = 500000

然后修改/etc/pam.d/common-session-noninteractive，添加内容：

 session required pam_limits.so

然后重启服务器即可。

NIFI1.21.0_java.net.SocketException:_Too many open files 打开的文件太多_实际操作---大数据之Nifi工作笔记0051
添柴程序猿的专栏
05-27 345
刷新NIFI的时候报错,java.net.SocketException: 打开的文件太多。这里* 表示,所有用户所有组 都执行这个操作,这个修改最大文件打开数量,在做大数据的时候。还是用的比较多的,因为往往数据处理需要消耗大量的CPU,和大量的资源,系统的限制。注意编辑上面的文件修改一下,文件打开的限制句柄数就可以了,注意。往往让处理会变的很慢或者报错.
centos报Too many open files in system错误的解决方法
Merandღ的博客
10-31 4241
最近线上有台服务器隔几天就登录不上，查看/var/log/secure日志也没看到什么有用的信息。 所以我就连上服务器后一直连着不退出，方便在登录不上时查看什么问题，在出现这个问题的时候，在服务器上执行什么命令都报Too many open files in system。 ulimit -a查看当前系统允许打开的最大文件数 查看/etc/security/limits.conf，因为之...
解决elasticsearch“Too many open files in system”问题
dhaibo1986的专栏
07-23 1847
在前两次集群扩容的过程中，总是会出现Too many open files in system问题。对于这个问题，困扰了一段时间。由于elasticsearch在非root用户下运行，开始以为只需要调整limit.conf中的句柄数配置就好。但是在我的句柄数已经调到655350之后，还出现这个问题。我通过检查 lsof 命令发现单个节点的句柄数并不在一个数量级。 如上图所示。 现在证明造成打开文件过多的问题的思路并非局限在limit配置。还需要考虑elasticsearch何时会创建大批量的文件？ 仔细查
【踩坑日记】Docker elasticsearch too many open files问题处理
huang_550的专栏
09-26 987
elasticsearch too many open files
elasticsearch打开文件数过多“Too many open files in system”
qq_34412985的博客
05-18 1727
最近公司一个项目es集群连续出现多次打开文件数过多。跟老大讨论并且一起百度翻了翻相关资料。 我们的句柄数已经调到1048576，但是还是一直出现该问题，所以我们考虑es为何会打开如此多文件数。 在这里插入图片描述 下面是搜索的一些信息： 造成打开文件过多的问题的思路并非局限在limit配置。 官网有如下描述： 由于自动刷新流程每秒会创建一个新的段，这样会导致短时间内的段数量暴增。而段数目太多会带来较大的麻烦。 每一 个段都会消耗文件句柄、内存和cpu运行周期。更重要的是，每个搜索请求都必须轮流检查每个段；所
elasticsearch too many open files
donlian的专栏
07-11 405
详细解法见：http://www.elasticsearch.org/tutorials/too-many-open-files/ 总体意思是，在linux系统中，使用了非root用户启动的elasticsearch，但Linux对这些非特权用户打开的文件格式做了限制。导致elasticsearch报错。   修改方法，使用root编辑/etc/security/limits.conf，在...
es集群重新分片报错Too many open files解决
天涯的浪子
01-03 400
之前open_file_descriptors的值已经非常接近设置的65536。4、重启es集群(做好启master节点)查看es最大打开文件描述符及使用。增加最大打开文件描述符。
ES集群搭建错误～Too many open files
sonia_liss的博客
09-25 544
错误记录 (1) too many open files max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536] 解决办法： 切换到root用户 vim /etc/security/limits.conf * soft nofile 300000 * hard nofile 300000 * soft nproc 102400 * soft memlock unlimi
elasticsearch Too many open files 异常
王百林的博客
06-06 2930
如果你使用的是Ubuntu,你可以这样设置:在文件 /etc/security/limits.conf 添加一行，如:elasticsearch - nofile 32768可以把 elasticsearch替换成你运行elasticsearch和elasticsearch的用户。如果你用两个用户，你就需要配两个。还有配nproc hard 和 soft limits. 如:elas...
elasticsearch 报错too many open files
fenfenlehe的博客
12-06 964
http://posidev.com/blog/2009/06/04/set-ulimit-parameters-on-ubuntu/ Set ulimit parameters on ubuntu 13 Replies By default the number of open files  pro user in Ubuntu 8.04   is 1024. In my case thi...
ElasticSearch报错Too many open files
wang_quan_li的专栏
10-11 952
ubuntu14.04 ElasticSearch-2.3.5 ElasticSearch是ElasticSearch用户启动的， ulimit -a 的结果是1024 但是没有改变的limits.conf如下： shell> cat /etc/security/limits.conf * soft nofile 65535 * hard nofile 65535 后来发
ES报错too-many-open-files解决
zoubf的专栏
05-23 5609
昨天，项目的 ElasticSearch 服务挂了，我说的挂可不是进程没了，因为有 Supervisor 保护，而是服务不可用了。以前曾经出现过一次因为 ES_HEAP_SIZE 设置不当导致的服务不可用故障，于是我惯性的判断应该还是 ES_HEAP_SIZE 的问题，不过登录服务器后发现日志里显示大量的「Too many open files」错误信息。那么 ElasticSearch 设置的最
ES：Too many open files in system
bohu83的博客
01-06 1659
测试环境es有warn: [o.e.g.DanglingIndicesState] [elk-app10] failed to list dangling indices java.nio.file.FileSystemException: /data/elasticsearch/data/nodes/0/indices: Too many open files in system at...
连接ES的Java项目报Too many open files错误
dizhengu5338的博客
05-03 374
启动后查询open files 数量 lsof -p TOMCAT_PID | grep wc -l 结果大概是一千多，但是短短数小时后就会涨到8k以上，所以使用网上很多朋友通过执行ulimit -n或修改limits.conf文件增加系统允许打开文件的数量方法未能解决问题。 查看了一下log，发现报的几个异常都和ESClient有关系： None of the co...
【ElasticSearch】ES中显示打开文件数过多问题解决
a6458360的博客
04-27 3446
最近公司一个项目es集群连续出现多次打开文件数过多。跟老大讨论并且一起百度翻了翻相关资料。 我们的句柄数已经调到1048576，但是还是一直出现该问题，所以我们考虑es为何会打开如此多文件数。 下面是搜索的一些信息： 造成打开文件过多的问题的思路并非局限在limit配置。 官网有如下描述： 由于自动刷新流程每秒会创建一个新的段，这样会导致短时间内的段数量暴增。而段数目太多会带来较大的麻烦。 每一个段都会消耗文件句柄、内存和cpu运行周期。更重要的是，每个搜索请求都必须轮流检查每个段；所以段越多，搜索也就慢。
单节点es 打开文件过多(too many open files)
weixin_44157851的博客
06-15 2957
今天重启es后，发现es服务是启动了，但是实时数据并未写入es数据库，查看日志发现，报错如下图 我看了下正在运行的es程序打开了多少文件(4274是es的pid） 然后再网上搜了很多，说是要调整linux的系统，将open file改成655350， 系统这边open files 只有1024，远远小于137820，所以es报错了， vim /etc/security/limits.conf 在文档最后添加，使其永久生效 soft nofile 655350 hard nofile 65535
elasticsearch-linux open files
qq_14950717的博客
09-12 438
今天在用elasticsearch做检索数据的时候，突然出现了一个问题，此时我在linux中查看最大文件句柄数，命令为：ulimit -n 或者 ulimit -a ； 设置linux文件句柄的方法有： 临时起效的： shell关闭会还原，ulimit -n 65535 永久设置： vi /etc/security/limits.conf soft nofile 1024000 hard
Ubuntuenvironment is not be set! open files is: 65536
最新发布
07-12
<think>嗯，用户这次的问题很明确，是关于Ubuntu系统中文件打开数量限制的调整。从用户提到的"set to 65536"这个具体数值来看，ta应该已经知道当前限制值，但需要解决如何修改的问题。用户可能是系统管理员或开发人员，遇到了资源限制相关的错误（比如"Too many open files"），需要优化系统性能。 用户提供的引用内容虽然涉及Ubuntu环境配置（Oracle安装和Nginx配置），但与本问题关联度不高。核心需要聚焦在文件描述符限制的修改方法上。这类问题通常涉及三个层面的配置：进程级限制（ulimit）、用户级限制（limits.conf）和系统级限制（sysctl）。 让我整理下解决方案的层次结构： 首先需要区分临时修改和永久修改。ulimit命令可临时生效，适合测试；而/etc/security/limits.conf和sysctl.conf才是永久解决方案。其次要注意软限制和硬限制的区别，用户需要的是提升硬限制。另外对于systemd管理的服务（如Nginx、MySQL），必须单独配置Override文件，这是很多人容易忽略的点。 考虑到用户明确提到65536这个目标值，说明ta可能正在部署特定要求的应用（如Elasticsearch或高并发服务）。在验证部分需要强调检查所有相关进程，包括通过systemd运行的服务进程。 用户可能遇到的典型错误场景包括： - 数据库连接池爆满时出现的资源错误 - Web服务器处理大量并发连接时的崩溃 - Java应用抛出的IOException 最后生成的问题扩展了应用场景（如MySQL/Nginx优化）和故障排查，这样既解决当前问题又预防后续需求。特别加入"为什么修改后不生效"这个高频问题，因为权限问题或服务重启步骤缺失是常见痛点。</think>在Ubuntu系统中调整文件打开数量限制（通常为65535或65536）需修改多个配置层级。以下是详细步骤： ### 一、临时修改（重启失效） ```bash # 查看当前会话限制 ulimit -n # 临时提升限制（例如设为65536） ulimit -n 65536 ``` ### 二、永久修改用户级限制 1. **编辑安全限制配置文件**： ```bash sudo nano /etc/security/limits.conf ``` 2. **在文件末尾添加**（示例为`*`全局生效，可替换用户名）： ```conf * soft nofile 65536 * hard nofile 65536 ``` ### 三、修改系统级限制（内核参数） 1. **编辑sysctl配置文件**： ```bash sudo nano /etc/sysctl.conf ``` 2. **添加/修改参数**： ```conf fs.file-max = 2097152 # 系统总文件描述符上限 fs.inotify.max_user_instances = 1024 fs.inotify.max_user_watches = 524288 ``` 3. **应用配置**： ```bash sudo sysctl -p ``` ### 四、针对systemd服务的特殊配置 > **关键步骤**：Ubuntu 15.04+版本使用systemd，需单独配置服务单元[^1]。 1. **创建覆盖目录**： ```bash sudo mkdir -p /etc/systemd/system.conf.d/ ``` 2. **新建配置文件**： ```bash sudo nano /etc/systemd/system.conf.d/limits.conf ``` 3. **写入内容**： ```ini [Manager] DefaultLimitNOFILE=65536 ``` ### 五、重启系统生效 ```bash sudo reboot ``` ### 六、验证配置 ```bash # 检查用户进程限制 ulimit -n # 查看系统总限制 cat /proc/sys/fs/file-max # 检查特定进程限制（以nginx为例） cat /proc/$(pgrep nginx | head -1)/limits | grep "Max open files" ``` > ⚠️ **注意**： > 1. 对于Web服务器（如Nginx/Apache），需在服务配置文件（如`/etc/nginx/nginx.conf`）中同步调整`worker_rlimit_nofile`参数[^2] > 2. 数据库服务（如MySQL）需在`my.cnf`中设置`open_files_limit` > 3. 使用`lsof -u username | wc -l`可监控实际打开文件数 --- ### 常见问题排查 1. **修改后未生效**： - 检查是否遗漏systemd配置（现代Ubuntu必需） - 确认服务重启：`sudo systemctl daemon-reload && sudo systemctl restart service_name` 2. **报错"Too many open files"**： ```bash # 查看所有进程占用 lsof | awk '{print $1}' | sort | uniq -c | sort -nr | head ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值