一个由于python程序fork子进程时复制对象导致的程序锁死的问题

最新推荐文章于 2024-08-11 18:27:42 发布
原创 最新推荐文章于 2024-08-11 18:27:42 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kazoo #python

本文介绍了一个关于使用Zookeeper进行环境配置时遇到的问题。在使用Python的WSGI框架部署API服务时，如果使用了多个worker进程，可能会导致Zookeeper客户端在子进程中无法正常工作，最终造成服务卡死。文章提供了详细的故障排查过程及解决方案。

问题：

项目原来使用配置文件进行部署的，计划改成使用Zookeeper来进行环境配置，于是写了相关的代码，但是测试环境部署的时候发现API服务会卡死不响应服务。

我们是使用的python的wsgi来做API服务的，zk client是使用的python-kazoo库，一通查之后，发现是kazoo的代码卡住的，但是如果不使用singleton对象或者不使用多个worker(子服务进程)就没有问题。

猜测可能是由于zk是为了分布式管理设计的，所以当fork子服务进程的时候把zk client的实例也复制到了子进程，然后这个子进程中的zk client的对象其实是不能用的，因为它的锁等相关的东西是在父进程中。

改程序进行较验，发现的确是这样的，解决方法就是在fork后释放zk client对象

【python知识】多进程专题（1）
gongdiwudu的专栏
09-18 7288
multiprocessing 是一个使用类似于 threading 模块的 API 支持生成进程的包。 multiprocessing 包提供本地和远程并发，通过使用子进程而不是线程来有效地避开全局解释器锁。因此，多处理模块允许程序员充分利用给定机器上的多个处理器。它可以在 Unix 和 Windows 上运行。
python简单程序使用signal模块处理僵死进程
06-01 3633
程序一：未使用信号处理程序 #! /usr/bin/python import socket, os """ 简单网络程序，每次连接后派生的子进程终止后都会成为僵死进程 """ serSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) serSock.bind(("", 8888)) serSock.listen(5) w
Python中的GIL锁
weixin_43790276的博客
06-08 5916
Python中的GIL锁 在Python中，可以通过多进程、多线程和多协程来实现多任务。 在多线程的实现过程中，为了避免出现资源竞争问题，可以使用互斥锁来使线程同步(按顺序)执行。 但是，其实Python的CPython(C语言实现的)解释器上有一把GIL锁，也就是说Python的程序是处于一个解释器锁的环境中的。 一、GIL介绍 GIL (Global Interperter Lock...
[Python]锁
思则变的专栏
05-13 1715
在开发中，锁可以理解为通行证。当你对一段逻辑代码加锁时，意味着在同一时间有且仅能有一个线程在执行这段代码。互斥锁可重入锁。
Python中多线程及程序锁浅析
12-25
Python中多线程使用到Threading模块。Threading模块中用到的主要的类是Thread，我们先来写一个简单的多线程代码： 复制代码 代码如下: # coding : uft-8 __author__ = ‘Phtih0n’ import threading class MyThread(threading.Thread):     def __init__(self):         threading.Thread.__init__(self)     def run(self):         global n         print n         n +=
记录fork子进程执行execl阻塞卡死的问题
duapple的博客
09-18 915
上面的函数是一个线程执行函数，调用这个函数，有概率会出现阻塞的情况。网上翻了一下资料，造成这个的原因是产生了死锁。因为我使用了自己的日志库，日志库里面有互斥锁用来保证输入数据的一致性。当父进程中的线程有调用日志打印函数时，会对互斥锁上锁，在还未解锁的情况，如果这时刚好fork子进程成功，并在子进程中执行日志打印函数的话，这个时候就会发生上面的所说的情况。
Python笔记-进程Process、线程Thread、上锁
Marlboro
04-17 1694
进程Process、线程Thread、上锁
python多进程与进程间通信：fork()方法和multiprocess实例
Yancy的博客
03-18 3374
目录 fork()方法(windows不可用) 跨平台multiprocessing 进程池Pool 进程间通信 Queue pipe() Manager 注意事项 参考资料 考虑到现在电脑一般都有双核甚至四核的CPU，故可设计算法并行的方法，通过python编程实现并行运算，从而加快处理的速度。虽然没有GPU进行图像算法的并行运算，但是能利用好双核CPU应该也是大有帮助吧！ ...
Python多进程（process）（三）子进程与并行
09-16 867
subprocess模块允许你生成新的进程，连接它们的输入、输出、错误管道，并且获取它们的返回码。此模块打算代替一些老旧的模块与功能：os.systemos.spawn*
超详细Python教程——进程和线程
月流霜的专栏
08-08 968
当然在单核CPU系统中，真正的并发是不可能的，因为在某个时刻能够获得CPU的只有唯一的一个线程，多个线程共享了CPU的执行时间。为此，我们需要先讨论两个概念，一个叫进程，一个叫线程。比较两段代码的执行结果（在我目前使用的MacBook上，上面的代码需要大概6秒左右的时间，而下面的代码只需要不到1秒的时间，再强调一次我们只是比较了运算的时间，不考虑列表创建及切片操作花费的时间），使用多进程后由于获得了更多的CPU执行时间以及更好的利用了CPU的多核特性，明显的减少了程序的执行时间，而且计算量越大效果越明显。
进程和线程（Python版）
weixin_57342469的博客
08-11 1757
在一个线程中的某个函数中，我们可以在任何地方保存当前函数的一些临时变量等信息，然后切换到另外一个函数中执行，注意不是通过调用函数的方式做到的 ，并且切换的次数以及什么时候再切换到原来的函数都由开发者自己确定。在程序中不可以同时使用两把锁(例如lock.acquire()，lock.acquire()，lock.release()，lock.release(),这样会导致死锁的产生)，若想在一个线程里面，多次调用，可以使用递归锁（切记，获得一个锁，一定要解开上一把锁，才可以进行获得下一个锁，不然会造成。
超级简单的程序锁.........
02-05
只有几KB的简单程序锁！只有几KB的简单程序锁！只有几KB的简单程序锁！只有几KB的简单程序锁！只有几KB的简单程序锁！只有几KB的简单程序锁！只有几KB的简单程序锁！
多进程编程卡死解决方案
04-16
居于对话框多进程编程，解决ui卡死、刷新问题
调试卡死的Python进程
热门推荐
司开星的专栏
08-26 1万+
有时线上程序运行过程中出现卡死（阻塞），无法通过断点或log找到问题，需通过其他方式调试。本文基于CentOS 7。 通用调试方法 查看进程号： ps auxf 查看此进程卡在哪个系统回调： strace -p pid pid替换为实际进程号。此命令会返回一个系统回调和文件操作符。 检查上一条命令系统回调的文件操作符的含义： ls -l /proc/pid/fd 数字就是文件操作...
python打开其他应用程序锁定_Python – 循环锁应用程序
weixin_39680380的博客
12-16 168
既然我明白你想要什么(秒表)我会推荐root.after命令from Tkinter import *import tkMessageBoximport threadingimport timeroot = Tk()root.geometry("450x250+300+300")root.title("Raspberry PI Test")print dir(root)count = 0def s...
python——常见锁类型
m0_53891399的博客
07-05 4485
Lock原始锁，RLock重入锁,，GIL全局解释器锁，condition条件锁，Event事件锁，死锁的现象
Python 同步 上锁解锁过程
qq_30295213的博客
11-22 1537
同步就是协同步调，按预定的先后次序进⾏运⾏ #创建锁  mutex = threading.Lock() #锁定  mutex.acquire([blocking])  #释放 mutex.release() 其中，锁定⽅法acquire可以有⼀个blocking参数。 如果设定blocking为True，则当前线程会堵塞，直到获取到这个锁为⽌ （如果没有指定，那么默认为Tru...
Python并发编程之进程（守护进程、锁、信号量）
路虽远，行则必至！
08-09 1137
前言：本博文是对Python并发编程之进程的知识延伸。 友情链接： 浅谈Python多进程中的multiprocessing 浅谈Python多进程中的fork 文章目录一、守护进程1.1 守护进程的概念1.2 守护进程的示例1.3 多个子进程的情况 一、守护进程 1.1 守护进程的概念 首先我们都知道：正常情况下，主进程默认等待子进程调用结束之后再结束，守护进程在主进程所有代码执行完毕之后，自动终止。当然我们也可以使用kill -9 进程号，杀死进程。 那么接下来，我们看一下守护进程的语法： 进程对象
程序锁逻辑
安卓阿哲
01-13 604
之前做的一个程序锁逻辑功能，重新整理了一下，有许多知识点，很不错，值得经常反思学习。 程序锁功能简介： 在app中程序锁界面，罗列app所有已安装app。如果对某个功能加锁，每次打开对应的app就要输入密码， 达到保护隐私的目的。 知识点 在清单文件中增加 gettask权限 新增开关，开启服务、关闭服务 新增service开启看门狗，监视系统运行状态 开启子线程不停循环 activym...
python怎么实现杀死父进程或者通过线程杀死主线程
最新发布
09-24
在Python中，要终止或杀死父进程（进程间通信通常发生在子进程中调用父进程的`os.fork()`函数后），你需要使用`os.kill()`函数配合`os.getppid()`来获取父进程ID。以下是一个简单的例子： ```python import os import signal # 创建子进程 def child_process(): print(f"Child process PID: {os.getpid()}") # 父进程的PID parent_pid = os.getppid() # 设置信号处理程序 def handler(signum, frame): print(f"Parent sent SIGINT (Ctrl+C) to child process: {signum}") os._exit(0) # 注册信号处理器 signal.signal(signal.SIGINT, handler) # 开始执行其他操作 while True: pass # 这里替换为实际的工作循环 if __name__ == "__main__": try: # fork并进入子进程 pid = os.fork() if pid == 0: child_process() # 子进程运行 else: print(f"Parent process PID: {os.getpid()}") # 等待子进程完成 os.wait() # 发送SIGINT信号给子进程 os.kill(pid, signal.SIGINT) print("Terminated the child process") except KeyboardInterrupt: print("Parent received SIGINT (Ctrl+C), exiting.") ``` 在这个例子中，父进程注册了一个信号处理器，当收到`SIGINT`（通常由键盘中断引发）时，它会发送一个信号给子进程，使其退出。 对于线程间的交互，Python的标准库并没有直接提供杀死线程的功能，因为线程是并发执行的，不是独立的进程。如果你想停止某个线程，可以通过共享变量、事件或者锁来协调。例如，你可以创建一个标志变量，在线程开始时设置为`False`，然后在主线程中等待这个标志变为`True`再结束。 ```python import threading # 假设这是一个线程函数 def thread_function(stop_event): while not stop_event.is_set(): # 执行任务 ... # 在主线程中 stop_event = threading.Event() thread = threading.Thread(target=thread_function, args=(stop_event,)) thread.start() # 主线程需要时可以设置停止事件 stop_event.set() print("Thread terminated") ``` 在这里，`Event`对象用于同步线程，当`set()`被调用时，所有等待该事件的线程都会被唤醒并执行到下一个循环检查点，从而达到停止线程的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值