今天一个python处理程序报错 Too Many Files,只看一看就是打开了太多文件,
文件是用多进程启动的,一共看了16个子进程,
然后我用 ulimit -a 查看 当前系统设置的最大句柄
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 63532
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 2048
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 63532
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
其中openfile 那一行就代表单个进程可以打开的最大句柄数,这里我设置为2048,开始是1024
然后使用 lsof -p 进程ID|wc -l 查看进程所打开的文件数量,这里的文件包括所打开的各种包的文件比如json,然后发现打开的文件数只有60个,因为程序里并没有涉及到文件的读写操作,所以猜想这里的文件数都算到了附近程里,然后
利用 ps -ef|grep 文件名 第三行就是父进程ID, 查看父进程所打开文件数也只有60几个,所以之前的猜想是错误的,所以这里猜想pymongo的底层会做读写操作,
随着时间的推移会增加打开文件数,这里使用
增加打开文件数的最大数量
ulimit -n 2048
随后继续观察,欢迎给出意见
参考文章 https://blog.youkuaiyun.com/roy_70/article/details/78423880