Python subprocess 死锁

最新推荐文章于 2025-04-15 16:48:35 发布
翻译 最新推荐文章于 2025-04-15 16:48:35 发布 · 733 阅读 · 0

本文探讨了在使用Python的subprocess模块时如何避免因Popen.wait()而导致的死锁问题，特别是在stdout=PIPE和/或stderr=PIPE的情况下，当子进程产生的输出过多时，可能会阻塞等待操作系统管道缓冲区接受更多数据。建议使用communicate()方法来规避这一问题。

Popen.wait() 要防止死锁

Warning: This will deadlock when using stdout=PIPE and/or stderr=PIPE and the child process generates enough output to a pipe such that it blocks waiting for the OS pipe buffer to accept more data. Use communicate() to avoid that.

Python之subprocess模块
qq_41938541的博客
08-05 3440
subprocess模块是Python中用于启动和管理子进程的一个强大工具，替代了旧有的os.system和os.spawn系列函数。通过这个模块，您可以从Python脚本中执行系统命令和其他可执行程序，并与之进行交互。在Python的subprocess模块中，有一些旧的API函数，比如call()、check_call()和check_output()。这些函数在Python 3.5及更早版本中被广泛使用。
python subprocess-更优雅的创建子进程
jeffery0207的博客
01-29 3682
简介 如PEP324所言，在任何编程语言中，启动进程都是非常常见的任务，python也是如此，而不正确的启动进程方式会给程序带来很大安全风险。Subprocess模块开发之前，标准库已有大量用于进程创建的接口函数（如os.system、os.spawn*），但是略显混乱使开发者难以抉择，因此Subprocess的目的是打造一个“统一”模块来提供之前进程创建相关函数的功能实现。与之前的相关接口相比，提供了以下增强功能： 一个“统一”的模块来提供以前进程创建相关函数的所有功能； 跨进程异常优化：子进程中的异常
python外部程序指定功能_用python脚本测试外部程序及遇到的fflush问题
weixin_39887961的博客
12-21 214
有的时候写的程序需要很多输入，如果每次测试、运行都自己从控制台输入的话非常浪费时间。可以用python脚本来替代这些重复劳动。#include "stdio.h"void main(){printf("input::\n");int n;scanf("%d",&n);printf("you just entered %d\n",n);//fflush(stdin);printf("inpu...
python stdout lock_[求助] subprocess 的 stdout 堵塞问题
weixin_39769039的博客
12-06 329
要求是这样的：1 ) 登入 mysql 服务器( mysql -h localhost -uroot -p1234 )。2 ) 输入 mysql 内部命令 show databases,如果返回的内容出现 mysql (存在 mysql DB )就立刻强制退出整个 python 程序。(关于要求 2 的解释，假如 show databases 的返回内容是 information_schema \...
python自旋锁和互斥锁和读写锁
manong_dashen的博客
06-23 1241
自旋锁 while 抢锁(lock) == 没抢到: print('没抢到') 自旋锁只要没抢到锁，不断地重试。 互斥锁 while 抢锁(lock) == 没抢到: 本线程先沉睡当锁的状态改变再唤醒(lock) 当去抢不到锁，而锁的状态没改变时，把CPU让出来，让别的线程先执行。由于需要 [锁的状态改变时再唤醒] 也就需要操作系统的帮助 读写锁 复数读者可以同时读，写者要求与任何人互斥 void 以读者身份加锁(rwlock){ 加锁(rwlock.保护当前住着数量的锁) rwlock.当前读
subprocess的死锁情况分析
qq_33626066的博客
01-18 1933
经常有这样的一些需求，需要在linux系统后台调用命令获取特定的输出。subprocess就是这样一个专门用作执行shell命令的模块。笔者在工作中经常需要用到这个模块，遇到了一些问题，在此和大家讨论一下。以上就是今天要讲的内容，本文分析了产生死锁的两个原因：分别是管道大小限制和异步机制。本次问题就是异步导致的死锁。
Python Subprocess库在使用中可能存在的安全风险总结
python学习者的博客
09-14 3406
0×00. 前言 在各大热门语言排行榜中，Python语言多次名列前茅，其高效的开发效率和优雅的编程风格吸引不少开发人员的青睐，不少公司将技术栈切换至Python。随着Python 语言的愈来愈流行，其安全问题也愈发受到安全人员的关注。作为新一代的语言，虽然其相较于PHP等传传统（资格老一些的语言）语言在安全性上有诸多改进，但仍然面临不少安全问题，本文以最为流行的Python 子进程库subpr...
python subprocess popen 多次重定向_python的subprocess.call,subprocess.popen实例教程,强烈推荐!...
weixin_39622628的博客
12-16 953
subprocess的目的就是启动一个新的进程并且与之通信。subprocess模块中只定义了一个类: Popen。可以使用Popen来创建进程，并与进程进行复杂的交互。它的构造函数如下：subprocess.Popen(args,bufsize=0, executable=None, stdin=None, stdout=None, stderr=None,preexec_fn=None, cl...
subprocess模块使用
最新发布
cliff，的博客
04-15 1767
subprocess的一些常用用法
Python Subprocess库在使用中可能存在的安全风险总结_python subprocess漏洞如何避免
2501_90245112的博客
01-14 787
Linux 的进程组是一个进程的集合，任何进程用系统调用 setsid 可以创建一个新的进程组，并让自己成为首领进程。而这个存在的意义在于，我们只要知道了首领进程的 pid(同时也是进程组的 pgid )， 那么可以给整个进程组发送 signal ，组内的所有进程都会收到。那死锁问题如何避免呢？于是问题就来了，如果我们需要一个类似“夹具”的子进程（比如运行 Web 集成测试的时候跑起来的那个被测试 Server）， 那么就需要在退出上下文的时候清理现场，也就是结束被跑起来的子进程。
记录一次python- subprocess模块 死锁问题处理
yuezhilangniao的博客
10-14 1139
---------------------------------subprocess模块详解 https://blog.youkuaiyun.com/guogaoan/article/details/37034565 死锁测试代码： #!/usr/bin/env python # coding: utf-8 # yc@2013/04/28 import subprocess def test(size): print 'start' cmd = 'dd if=/dev/urando
Python模块学习 ---- subprocess 创建子进程
热门推荐
08-29 5万+
　　最近，我们老大要我写一个守护者程序，对服务器进程进行守护。如果服务器不幸挂掉了，守护者能即时的重启应用程序。上网Google了一下，发现Python有很几个模块都可以创建进程。最终我选择使用subprocess模块，因为在Python手册中有这样一段话: 　　This module intends to replace several other, older modules and fu
popen函数_解决Python常见的问题：Subprocess的不同函数解析（零基础必看）
weixin_39651488的博客
11-26 501
以前我一直用os.system()处理一些系统管理任务,因为我认为那是运行linux命令最简单的方式.我们能从Python官方文档里读到应该用subprocess 模块来运行系统命令.subprocess模块允许我们创建子进程,连接他们的输入/输出/错误管道，还有获得返回值。subprocess模块打算来替代几个过时的模块和函数。比如： os.system, os.spawn*, os.popen...
Python:关于subprocess.stdout.read()导致程序死锁的问题
weixin_34293911的博客
11-17 2115
subprocess.stdout.read()导致程序死锁的问题解决 今天有位老哥联系我说，在我的python之路系列中，解决粘包问题那一章的代码有BUG 这里当运行命令过于庞大的时候，会导致程序直接卡死在这里，我自己试试了下，确实有这个问题。 但是到底是为什么呢，前前后后想了好久，没找到答案，后来google了半天以及翻了下官方文档 终于找到了问题所在！！！划重点 如果设置了st...
Python Subprocess Popen 管道阻塞问题分析解决
xiaoxianerqq的专栏
12-21 1万+
转自：https://www.chenyudong.com/archives/python-subprocess-popen-block.html 目录 [hide] 1 错误的使用例子 2 解决了我的问题 3 看看Python文档信息 4 Linux管道限制，为什么会阻塞呢？ 5 测试Linux管道阻塞问题 6 总结 7 参考 使用Sub
Python-多线程-全局解释器锁 GIL-运行机制-全局变量-多进程调用
插件开发
07-08 741
全局变量：模块内、所有函数外、所有class外。 局部变量：函数内、class的方法（类方法、静态方法、实例方法）内，且变量前面没有修饰。 类变量：class内，不在class的任何方法内。 实例变量：class的方法内，使用self修饰。如果在print_str函数中没有使用global关键字显式引用全局变量，在print_str函数中将优先使用局部变量，而不是全局变量。 1.2.省略global关键字 当你的函数里只读取全局变量的值，此时可省略global，Python解释器明白你访问的是全局变量。 1
使用subprocess子进程莫名死掉的问题
gbwllx的专栏
08-26 2420
最近使用subprocess发现有可能会出现子进程一直处于
python subprocess退出
03-03
### 如何正确退出或终止子进程 为了确保 `subprocess` 模块中的子进程能够被安全地关闭，可以采用多种方法来实现这一目标。一种常见的做法是利用 `Popen.terminate()` 或者更强制的方式如 `Popen.kill()` 方法。 对于某些情况下的进程管理需求，可能还需要处理僵尸进程的问题，这可以通过设置 `preexec_fn=os.setsid` 来创建一个新的会话[^2]。当希望向特定的子进程发送信号时，如果是在类 Unix 系统上，则可考虑使用 `os.killpg(os.getpgid(proc.pid), signal.SIGTERM)` 的方式；而在 Windows 平台上则适用如下所示的方法： ```python import os import subprocess import sys def terminate_process(child_pid): try: if sys.platform.startswith('win'): subprocess.check_output(f"Taskkill /PID {child_pid} /F", shell=True)[^1] else: os.kill(child_pid, 9) # SIGKILL on Unix-like systems except Exception as e: print(e) # 获取当前进程ID以便于测试 current_pid = os.getpid()[^3] # 创建一个示例子进程用于演示目的 proc = subprocess.Popen(['echo', 'hello'], stdout=subprocess.PIPE, stderr=subprocess.PIPE) # 终止该子进程 terminate_process(proc.pid) ``` 上述代码片段展示了如何跨平台地结束由 `subprocess.Popen` 启动的子进程。需要注意的是，在实际应用中应当谨慎对待强行杀死进程的行为，因为这样可能导致数据丢失等问题。通常建议先尝试优雅地请求程序停止运行再采取进一步措施。 #### 关闭标准输入/输出流 除了直接操作操作系统级别的命令外，还可以通过控制 Popen 对象的标准 I/O 流来进行更加精细的操作。例如，调用 `communicate()` 可以等待子进程完成并读取其输出，而不会造成死锁风险。此外，也可以显式地关闭这些管道连接以促使子进程尽快退出。 ```python stdout, stderr = proc.communicate() print(stdout.decode()) if stderr: print("Errors occurred:", stderr.decode()) ``` 此段代码说明了怎样与子进程交互以及获取它的执行结果，这对于调试非常有用。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值