NIFI1.21.0_NIFI和hadoop蹦了_200G集群磁盘又满了_Jps看不到进程了_Unable to write in /tmp. Aborting----大数据之Nifi工作笔记0052

添柴程序猿

已于 2023-05-30 13:09:31 修改

阅读量607

点赞数

CC 4.0 BY-SA版权

分类专栏：移动&低代码&区块链文章标签：集群磁盘满了磁盘满了 nifi日志配置 nifi占用磁盘 nifi占满磁盘

于 2023-05-30 10:04:30 首次发布

本文为博主原创文章，未经博主添柴程序猿允许不得转载违者追究法律责任。

本文链接：https://blog.youkuaiyun.com/lidew521/article/details/130927325

移动&低代码&区块链专栏收录该内容

97 篇文章 ¥9.90 ¥99.90

订阅专栏

超级会员免费看

本文记录了NIFI1.21.0在200G集群上遇到的问题，包括磁盘空间不足导致的Hadoop和NIFI服务崩溃。通过排查发现，NIFI的日志文件占用了大量空间。解决方案包括定期删除日志和调整NIFI日志配置，以减少日志生成。此外，还解决了因/jps无法读取hsperfdata_root文件导致的进程查看问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

之前做的集群的虚拟机大小是50G,很快就被占满了,而给虚拟机根目录扩容又很麻烦,弄了一圈,没弄好,然后又做了个200G的集群,但集群...今天发现又出问题了.

hadoop122: ERROR: Unable to write in /tmp. Aborting.
NIFI蹦了_hadoop也蹦了_集群磁盘又满了_奇怪了_刚做了个200G的虚拟机_接着磁盘就又满了

最开始的时候是nifi报错,刷新总是报错,说

java.net.SocketException: 打开的文件过多错误

这个错误,这个错误,之前一个博文已经说了,因此,后来把linux打开文件数的限制给打开了,

配置了:

# 在文件末尾中增加下面内容
#es soft nofile 65536
#es hard nofile 65536
* soft nofile 65536
* hard nofile 65536
 
# vim /etc/security/limits.conf
[root

了解本专栏

超级会员免费看