NIFI1.21.0_java.net.SocketException:_Too many open files 打开的文件太多_实际操作---大数据之Nifi工作笔记0051

添柴程序猿

已于 2023-05-29 10:20:19 修改

阅读量321

点赞数

分类专栏：移动&低代码&区块链文章标签： NIFI最新版本 nifi1.21.0 nifi报错打开文件太多 nifi报错 SocketException

于 2023-05-27 15:12:38 首次发布

本文为博主原创文章，未经博主添柴程序猿允许不得转载违者追究法律责任。

本文链接：https://blog.youkuaiyun.com/lidew521/article/details/130901614

版权

移动&低代码&区块链专栏收录该内容

97 篇文章 ¥9.90 ¥99.90

订阅专栏

超级会员免费看

在使用NIFI1.21.0时遇到`java.net.SocketException: Too many open files`的问题，这表明系统文件句柄限制不足。解决方法是增加文件打开的限制句柄数，特别是对于大数据处理场景，因大量资源消耗，此类限制可能导致处理变慢或报错。修改配置后需重启NIFI以使更改生效。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

可以先来查看一下,默认是1024不够用的根本就.

java.net.SocketException Too many open files

刷新NIFI的时候报错,java.net.SocketException: 打开的文件太多

# 在文件末尾中增加下面内容
#es soft nofile 65536
#es hard nofile 65536
* soft nofile 65536
* hard nofile 65536

# vim /etc/security/limits.conf
[root@hadoop122 bin]# vim /etc/security/limits.conf

注意编辑上面的文件修改一下,文件打开的限制句柄数就可以了,注意

这里* 表示,所有用户所有组都执行这个操作,这个修改最大文件打开数量,在做大数据的时候

还是用的比较多的,因为往往数据处理需要消耗大量的CPU,和大量的资源,系统的限制

往往让处理会变的很慢或者报错.

配置以后一定要重启要不然是不起作用的.