kafka 运行一段时间报错Too many open files

最新推荐文章于 2025-06-17 19:52:57 发布
原创 最新推荐文章于 2025-06-17 19:52:57 发布 · 5.1k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #服务器

kafka运行一段时间报错:
在这里插入图片描述

出现这种错误的解决方法：

1.修改操作系统中的环境变量
修改“/etc/security/limits.conf”

vim /etc/security/limits.conf

末尾添加：

*         -      nofile          1000000
*         -      nproc           1000000

在这里插入图片描述
2.启用"/etc/security/limits.conf"功能,默认是被注释的，即默认未启用，也有可能没有，得手动添加！

vi /etc/pam.d/su

末尾添加：

session         required        pam_limits.so

最低0.47元/天 解锁文章
Kafka运行一段时间报错Too many open files
weixin_34377919的博客
04-13 1634
　　　　　　　　　　　　　　　　Kafka运行一段时间报错Too many open files 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.kafka运行一段时间报错 1>.我最近把kafka集群搭建在了 ubantu操作系统，发现运行一段时间日志报...
记一次Kafka 故障Too many open files问题
weixin_41162023的博客
05-09 2780
查看limit.conf文件，发现文件打开数设置的值也没问题，尝试增大值后，但就是提示Too many open files，报错就是文件打开数过多。问题：目前仍未查到是哪个配置文件使系统默认值为4096，以及为systemd何不走limit.conf值。由此联想到我们kafka是通过systemd进行管理的，走的是系统默认最大的文件打开数是4096。生效并重启，问题解决；20220906 13:01 十几次的kafka打开文件句柄数的值均在。左右，大多没超过4096，故猜测之前62天没有报错过原因于此。
【kafka】kafka错误与解决方案
Ezreal's Blog
03-19 1511
错误Too many open files java.nio.file.FileSystemException: /usr/server/kafka_2.11-1.1.0/lan_data/tbl_stream_7487-8/leader-epoch-checkpoint: Too many open files # echo 102400 > /proc/sys/fs/file-max ...
Kafka问题整理 (Too many open files等)/kafka重要参数总结
kekevin的博客
04-21 8812
Kafka集群搭建好以后，运行一段时间Kafka节点挂掉，程序中出现如下错误 ERROR Error while accepting connection (kafka.network.Acceptor) java.io.IOException: Too many open files 使用命令：ulimit -a 查看每个用户允许打开的最大文件数 发现系统默认的是open files (-n) 1024，问题就出现在这里。 然后执行：ulimit -n 4096 ...
Kafka：java.io.IOException: Too many open files
最新发布
喝醉酒的小白
06-17 573
表示 Kafka 在尝试接收新连接时，由于操作系统限制“打开文件描述符（file descriptors）”数量而失败。每个网络连接、文件、socket 都会占用一个文件描述符，因此这是 Kafka 比较常见的系统资源瓶颈之一。Kafka 的每个客户端连接、broker 之间的连接、日志文件句柄都会占用文件描述符。如果返回的是一个较小的数字（例如 1024 或 4096），通常不足以支持 Kafka。如果 Kafka 是 systemd 服务启动的，还需配合 systemd 的配置项。
ambari 中启动kafka 报错：too many open file
m0_65850671的博客
03-13 596
too many open file
解决elasticsearch“Too many open files in system”问题
dhaibo1986的专栏
07-23 1889
在前两次集群扩容的过程中，总是会出现Too many open files in system问题。对于这个问题，困扰了一段时间。由于elasticsearch在非root用户下运行，开始以为只需要调整limit.conf中的句柄数配置就好。但是在我的句柄数已经调到655350之后，还出现这个问题。我通过检查 lsof 命令发现单个节点的句柄数并不在一个数量级。 如上图所示。 现在证明造成打开文件过多的问题的思路并非局限在limit配置。还需要考虑elasticsearch何时会创建大批量的文件？ 仔细查
Kafka常用操作：创建，删除，生产，消费topic。Too many open file问题修复。修改偏移量，重新消费。
u010479989的博客
01-25 6012
Topic命令 创建topic kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic test 192.168.6.57:9092,192.168.6.58:9092,192.168.6.59:9092 删除topic ./kafka-topics.sh –delete -zookeeper kafka-1:2181,kafka-2:2181,kafka-
kafka突然出现 /bootstrap: Failed to create socket: Too many open files
猫瑾的博客
05-28 1293
在给kafka程序做高并发压力测试时突然出现这个，找了下原因，发现是Linux的文件句柄问题。 在Linux中是有文件句柄（open files）限制的 一般来说Linux默认是1024，在高并发服务器还蛮容易达到这个量级。 稍微改一下句柄的数量就好了 命令：ulimit -a 执行：ulimit -n 数量 修改句柄 注：最大值为655350 llw@ubuntu:~/kafka$ ulimit -n 102400 llw@ubuntu:~/kafka$ ulimit -a 之后就不会出现
【原创】大叔问题定位分享（5）Kafka客户端报错SocketException: Too many open files 打开的文件过多...
weixin_30708329的博客
11-07 1013
kafka0.8.1 一 问题 10月22号应用系统忽然报错： [2014/12/22 11:52:32.738]java.net.SocketException: 打开的文件过多 [2014/12/22 11:52:32.738] at java.net.Socket.createImpl(Socket.java:447) [2014/12/22 11:52:32.73...
kafka报错打开文件数过多导致kafka关闭
yizhiniu_xuyw的专栏
09-30 4613
监控到业务异常，kafka异常 查看kafka日志，发现大量错误日志： ERROR Error while accepting connection (kafka.network.Acceptor) java.io.IOException: 打开的文件过多 lsof -p kafka-pid 看有上万个文件句柄 使用自写的删除topic工具，删除一部分历史topic后，重启kafka，问题解决。之后继续删除topic，文件句柄降到2000。 1.运维规范：kafka历史topic定时清理，可配
java.io.IOException: Too many open files
qq_45938780的博客
11-01 2043
Too many open files
Spark streaming + kafka 运行时报 Too many open files错误的解决方法
hust_mse@163.com
07-12 2287
什么改limits.conf这些方法我都试过，不管用，错误照常出现，需要修改的是kafka的一个参数叫做num.replica.fetchers，默认为1，改为2或者3就可以了。
Too many open files 问题的解决
十万小时之旅
10-13 219
在/etc/security/limits.conf文件中设置最大打开文件数   设置如下行：   * - nofile 8192   注意"nofile"项有两个可能的限制措施。就是<type>项下的hard和soft。 要使修改过得最大打开文件数生效，必须对这两种限制进行设定。 如果使用"-"字符设定<type>, 则hard和soft设定会同时被设定...
低级错误 too many open file
weixin_45230582的博客
12-20 272
出现这个错误一个原因是打开文件过多或者是打开socket过多，网上有解决办法。 还有一种可能是因为程序出错，我的错误是kafka生产者程序中用Springboot 一直在new kafkaTemplate（），也就是一直在和kafka产生新的连接导致错误。 ...
too many open files 的问题
荒野哞的专栏
03-04 1772
近几个月公司我所在组负责的系统一直出现“too  many open files” 错误，报错如下： 因为我们负责的系统是处理公司的一些对接业务，系统中使用了大量的webservice ,和http连接操作，所以一般使用了xfire,axis,httpclient等等远程调用框架，一些遗留的大批老的代码都存在未关闭的情况，网上找了一些原因： 程序经常访问的文件、socket
Kafka因文件句柄数过多导致挂掉的排查与解决
huosenbulusi的博客
02-11 779
本次故障的根本原因是TDengine服务中的一个bug导致其占用了过多的文件句柄，进而影响到了同处于NFS存储上的Kafka服务。通过对日志的详细分析以及对系统资源使用的深入排查，最终确定了问题所在并成功解决了问题。
kafka too many open files
01-03
### 解决Kafka中文件句柄过多的问题 当遇到Kafka中文件句柄过多的情况时，通常是因为操作系统对单个进程可以打开的最大文件数有限制。为了有效处理这一问题，可以从调整操作系统的配置参数入手。 #### 调整Linux系统中的最大文件描述符数量 对于大多数基于Linux的操作系统，默认情况下每个用户可打开的文件数目是受限的。可以通过修改`/etc/security/limits.conf`来增加这个限制： ```bash echo "* soft nofile 65535" >> /etc/security/limits.conf echo "* hard nofile 65535" >> /etc/security/limits.conf ``` 上述命令会将软硬限制都设置为65535，这应该能满足大部分生产环境的需求[^1]。 #### 修改Kafka Broker配置 除了更改操作系统级别的设定外，在Kafka broker端也可以通过编辑`server.properties`来进行优化: - `num.io.threads`: 增加I/O线程的数量可以帮助更好地管理更多的连接和文件。 - `log.flush.interval.messages`, `log.flush.interval.ms`: 减少日志刷新频率能降低频繁写入磁盘带来的开销，从而间接减少所需的文件句柄数。 - `file.delete.delay.ms`: 设置更短的时间延迟删除不再使用的临时文件，有助于及时释放资源。 这些改动能够帮助缓解由于高并发读取或写入造成的文件句柄耗尽现象[^2]。 #### 使用Outbox模式减轻压力 如果应用层面上存在大量瞬态数据流经Kafka，则考虑采用Outbox模式作为解决方案之一。这种方式下，微服务仅需向特定主题发布消息，而由专门的消息转发组件负责后续的数据持久化工作。这样做的好处是可以解耦业务逻辑与存储机制，并且更容易实现幂等更新以应对可能发生的重复提交情况[^3]。 #### 获取并监控当前偏移量 最后，定期获取并分析各消费者组的消费进度也是预防潜在性能瓶颈的有效手段。利用`GetOffsetShell`工具可以获得指定时间戳之前的最早可用记录位置，尽管其精度较低，但对于长期趋势监测仍然有用处[^4]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值