学习python多线程和多进程的一点感想

Python多进程实践

最新推荐文章于 2020-12-04 06:37:12 发布

转载最新推荐文章于 2020-12-04 06:37:12 发布 · 1k 阅读

Python 专栏收录该内容

185 篇文章

订阅专栏

本文介绍了一个Python多进程脚本的实例，并解决了由于预编译字节码文件导致的递归执行问题。

转自：http://my.oschina.net/u/593413/blog/88573

今天学了一下python的多进程和多线程技巧。

多线程方面倒没啥可说的，很简单。值得注意的是，多线程并不限制你一次只执行一个，如果你的线程之间不共享变量的话，是用不到线程锁的，虽然这么说，但是其实即使不用lock程序还是一次只执行一个线程。如果程序内部有阻塞现象（比如下载之类），使用线程很不错，但是如果没有的话，用不用线程的消耗差别不大（甚至因为要支持线程而减慢）。不使用lock其实是将lock交给了python负责，它会根据阻塞与否协调线程的执行。

说回重点，多进程吧。

下面是我从其他人的帖子里抄来的一个多进程示范脚本（当然修改了一些）：

 
import multiprocessing
 
import os
 
 
 
def get(url,lock):
 
    lock.acquire()
 
    print os.getpid(),url
 
    lock.release()
 
 
 
plist=[]
 
lock=multiprocessing.Lock()
 
for i in ['www.sina.com.cn','www.163.com','www.baidu.com','www.cnblogs.com','www.qq.com','www.douban.com']:
 
    proc=multiprocessing.Process(target=get,args=(i,lock))
 
    plist.append(proc)
 
 
 
for proc in plist: proc.start()
 
for proc in plist: proc.join()

但是呢，我执行起来，却会死机，会不停的打开python解释程序。

这样当然是让我很纳闷的，因为这个程序在ideone（一个在线代码编译器）上运行正常，问别人也说可以正常执行，怎么到我这里就不行了呢？

起初我以为是安装非标准模块的副作用，于是重装了一次python2.7.3，然后从网上找了另一个范例试了一下，ok。

我很高兴，以为解决问题了，不过为了保险，还是再实验了一下上面的代码，又挂了……

这就让我很郁闷了，看来原因不是python，还是代码的问题。

可是代码成功执行了啊……

这个时候，我注意到一个细节，那就是在代码存放的目录里，多出来一个字节码的pyc文件。

看来这个pyc文件应该和这一问题有关……原来如此！

我安装python的时候，是选择了预编译库文件选项的，这样可以加快代码的执行速度。不过这样就导致了一个问题：预编译后的字节码文件的代码顺序和源代码文件是不太一样的。装入字节码文件时，会自动执行pyc文件里的部分代码（就是那些贴左面放的部分），而这一执行，就会导致程序发生递归，结果就是不断启用python解释执行pyc文件……

然后，然后俺就死机了……

ok，那么我就按我的判断来修改一下吧，代码如下：

 
from multiprocessing import Process
 
import os
 
 
 
def myget(url):
 
    print os.getpid(),url
 
 
 
if __name__ == '__main__':
 
    plist=[]
 
    for i in ['www.sina.com.cn','www.163.com','www.baidu.com','www.cnblogs.com','www.qq.com','www.douban.com']:
 
        proc=Process(target=myget,args=(i,))
 
        plist.append(proc)
 
    for proc in plist: proc.start()
 
    for proc in plist: proc.join()