避免python Popen阻塞

http://backend.blog.163.com/blog/static/2022941262014016710912/

很多开发和运维人员喜欢用python做一些开发或是运维的工作。不可避免要调用系统命令。

调用系统命令的方式有两种，一种是os.system(CMD)，一种是subprocess.Popen(CMD,stdout=what,stderr=what)。

如：

import os

os.system("echo hi")

或者

import subprocess

obj=subprocess.Popen("echo hi")

但是这通常不能满足要求。我们一般需要解析执行命令之后的输出，并从输出中解析出我们想要的信息。

前一种无法满足要求，os.system无法有效输出cmd执行之后的结果。只能使用subprocess的方式。

通常的做法如下：

import subprocess

import traceback

try:

    cmd = "ls -lh"

    obj = subprocess.Popen(cmd,stdout=subprocess.PIPE,stderr=subprocess.PIPE,shell=True)

    obj.wait()

    

    lines = obj.stdout.readlines()

    

    if not lines or len(lines) == 0:

        line = obj.stderr.readlines()

    

    print lines

except Exception, e:

    print traceback.format_exc()

这样做在大多数情况下都不会有问题。但是这里影藏了潜在的危险！就是会发现有一天程序hang住了。

这可能导致整个应用被挂住。当你费了很大力气定位问题时，会发现罪魁祸首便是Popen。而令人困惑的

是，这个地方你已经测试过n次了。怎么会在这里hang住了呢？

原因是subprocess的PIPE是有大小的。在python2.6.11之前，PIPE的大小为文件页的大小（i386上是4096），

2.6.11之后变为65536.因此当输出内容超过65536，会引起阻塞。因为PIPE已经被塞满了，无法再塞进更多的

数据。

解决方法是不用subprocess提供的PIPE，而是使用自己创建的流。如此，可以控制流的大小。不多说，直接

上代码：

import subprocess

import traceback

import tempfile

try:

    cmd = "ls -lh"

    out_temp = tempfile.SpooledTemporaryFile(bufsize=10*1000)

    fileno = out_temp.fileno()

    obj = subprocess.Popen(cmd,stdout=fileno,stderr=fileno,shell=True)

    obj.wait()

    

    out_temp.seek(0)

    lines = out_temp.readlines()

    

    

    print lines

except Exception, e:

    print traceback.format_exc()

finally:

    if out_temp:

        out_temp.close()