解决大量调用Python subprocess.Popen产生的一些bug

最新推荐文章于 2025-07-08 21:32:42 发布

转载最新推荐文章于 2025-07-08 21:32:42 发布 · 1.3w 阅读

Python 专栏收录该内容

21 篇文章

订阅专栏

本文介绍了解决使用Python的subprocess.Popen调用大量shell命令时遇到的内存溢出及线程阻塞问题。通过调整参数并清理stdin, stdout, stderr流，作者实现了稳定执行并提供了一个带有超时功能的函数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

自从工作了就好久没发博客，还是出来冒个泡=。=
前段时间写的一个项目需要用python的subprocess.Popen大量调用某shell命令，运行到一定量级之后就会产生内存溢出，造成大量线程阻塞，然后就会造成([Errno 24] Too many open files)这个异常。
网上有人说是close_fds=True这个参数在python2.x默认没打开，这个参数可以关闭文件描述符，试了没有作用。
后来在国外某个人的帖子找到了和我类似的问题，解决办法就是执行后把stdin,stdout,stderr3个流进行清空即可。
结合网上的资料，写了一个可以自定义超时时间调用subprocess.Popen执行shell命令的函数(自定义超时为了避免某些shell卡死的情况)，用这个函数去调用subprocess.Popen就不会产生上面这些问题了。

def timeout_command(command, timeout):
	start = datetime.datetime.now()
	process = subprocess.Popen(command, bufsize=10000, stdout=subprocess.PIPE, close_fds=True)
	while process.poll() is None:
		time.sleep(0.1)
		now = datetime.datetime.now()
		if (now - start).seconds> timeout:
		try:
			process.terminate()
		except Exception,e:
			return None
		return None
	out = process.communicate()[0]
	if process.stdin:
		process.stdin.close()
	if process.stdout:
		process.stdout.close()
	if process.stderr:
		process.stderr.close()
	try:
		process.kill()
	except OSError:
		pass
	return out