python中subprocess.Popen阻塞问题分析

最新推荐文章于 2025-10-30 13:47:33 发布

原创最新推荐文章于 2025-10-30 13:47:33 发布 · 5.6k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#python #开发语言 #后端

python学习之路专栏收录该内容

8 篇文章

订阅专栏

在使用Python的subprocess.Popen处理产生大量输出的命令时，可能会遇到阻塞问题，影响脚本运行状态的实时反馈。os.open可以作为临时解决方案，但在Jenkins上部署时，输出顺序混乱。为了解决这个问题，可以避免使用PIPE，转而使用自定义流或者利用Popen.communicate()。通过调整代码，可以控制流的大小并避免输出缓冲区的问题。

python中subprocess.Popen阻塞问题分析

在用subprocess.Popen对会生成大规模前台输出的指令进行运行时会产生阻塞问题，在某一时刻就会导致无法及时输出脚本的运行情况。用system.os一定程度上可以简单粗暴的解决这种问题，然而由于需要在jenkens上进行部署，在jenkens上输出的console中，system.os中的脚本输出展示优先级高于python本身的输出，导致所看到的输出结果顺序错乱，因此还是要想办法投奔回subprocess.Popen 的怀抱。

解决方法参考：

http://backend.blog.163.com/blog/static/2022941262014016710912/

解决方法是不用subprocess提供的PIPE，而是使用自己创建的流。如此，可以控制流的大小。不多说，直接
上代码：

import subprocess
import traceback
import tempfile
try:
    cmd = "ls -lh"
    out_temp = tempfile.SpooledTemporaryFile(bufsize=10*1000)
    fileno = out_temp.fileno()
    obj = subprocess.Popen(cmd,stdout=fileno,stderr=fileno,shell=True)
    obj.wait()
    
    out_temp.seek(0)
    lines = out_temp.readlines()
    
    
    print lines
except Exception, e:
    print traceback.format_exc()
finally:
    if out_temp:
        out_temp.close()

解决方式2 还是os.open

输出被缓冲。您必须刷新此缓冲区：

import os
import sys
print('Hi')
sys.stdout.flush()
os.system('cat a.py')

解决方式3

对于subprocess,官方文档里推荐使用 Popen.communicate()。这个方法会把输出放在内存，而不是管道里，所以这时候上限就和内存大小有关了，一般不会有问题。