python强制退出不报错_python 多线程、多进程加Queue运行到最后不报错不退出,僵死,求大神解答?...

本文介绍了一个基于Python的多线程任务调度程序的设计与实现,该程序通过队列进行线程间的通信,并实现了任务进度的实时显示。通过对随机生成的任务列表进行排序和分配,演示了如何利用多线程提高程序的执行效率。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

#coding=utf-8

import sys,time,urllib,json,datetime

import urllib2

import threading

from Queue import Queue

from random import randint

class thread_init(threading.Thread):

def __init__(self, que):

threading.Thread.__init__(self)

self.que = que

def run(self): # 使用队列实现进程通信

while True:

num = self.que.get(block=True)

key = num[0]

clid = num[1]

dataType = num[2]

date = num[3]

thrnum = num[4]

if str(key) == '12345678':

pass

else:

if int(self.que.qsize()) <= (int(thrnum) * 1.5):

metux.acquire()

getZhdgclzczs(key,clid,dataType,date)

metux.release()

else:

getZhdgclzczs(key, clid, dataType, date)

curCount = self.que.maxsize - self.que.unfinished_tasks

# curCount = self.que.maxsize - self.que.qsize()

allCount = self.que.maxsize

percent = str((1 - float(self.que.unfinished_tasks) / float(self.que.maxsize))*100)+'%'

result = '%s,%s进度:%s/%s,%s' % (str(key), str(clid), curCount, allCount, percent)

print result

if self.que.empty():

self.que.task_done()

break

self.que.task_done()

def getZhdgclzczs(key,clid,dataType,date):

key = key

clid = clid

dataType = dataType

date = date

# time.sleep(0.1)

def Main(groupNum, dataType, date):

global metux

metux = threading.RLock()

groupNum = int(groupNum)

print '开始'

user_list_bef = [(randint(1, 10000), randint(1, 10000)) for i in range(1000)]

user_list_new = [(tmp_user[0],tmp_user[1],dataType,date,groupNum) for tmp_user in user_list_bef]

user_list_new.sort(key=lambda x: x[0])

allCount = len(user_list_new)

threads = []

queue = Queue() # 建立消息队列

queue.maxsize = allCount

for i in range(len(user_list_new)):

queue.put(user_list_new[i])

for j in range(groupNum):

thread = thread_init(queue)

thread.start()

threads.append(thread)

for thread in threads:

thread.join()

print '100%'

d1 = datetime.datetime.now()

Main('20', '3', '20170126')

d2 = datetime.datetime.now()

print d2 - d1

# 如果不注释time.sleep(0.1)就不出现僵死情况,如果注释掉,每次都会僵死,在我的代码中,十次会出现1-2次僵死情况

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值