linux下spark-shell中报错java.io.FileNotFoundException (Too many open files)

最新推荐文章于 2023-11-02 14:19:18 发布

原创最新推荐文章于 2023-11-02 14:19:18 发布 · 1.8k 阅读

1 ·

CC 4.0 BY-SA版权

Spark 同时被 2 个专栏收录

49 篇文章

订阅专栏

Linux

26 篇文章

订阅专栏

本文详细解析了Linux系统中程序打开文件数限制的问题，包括常见错误提示Too many open files的原因分析，提供了三种解决方案：查看当前限制、临时修改和永久修改的方法，以及相关配置的正确操作步骤。

caused by：java.io.FileNotFoundException: /tmp/blockmgr-f66a6a16-0bf5-4549-8650-bcfc367eafbb/1d/temp_shuffle_634ae49b-6255-4298-a22a-21f6a96bc818 (Too many open files)

该程序需要同时操作许多文件，所以会有报错提示too many open files

原因是由于linux限制了一次会话中，程序最大同时打开文件数目。

1. 查看当前设置

ulimit -n

(默认是1024)

2.临时修改（在另一个终端执行后，该配置将应用到所有终端）

ulimit -n xxxx



#CentOS7下可打开的最大数量

[root@master]# ulimit -n 1000000
[root@master]# ulimit -n 10000000
-bash: ulimit: open files: cannot modify limit: Operation not permitted

3.永久修改

参考博客：

https://blog.youkuaiyun.com/zhmy_006/article/details/51818311

https://blog.youkuaiyun.com/weixin_41588082/article/details/90747220