Python 多协程实验时报错 Error: maximum recursion depth exceeded 程序退出代码1073741571

最新推荐文章于 2024-05-01 09:11:01 发布

原创

最新推荐文章于 2024-05-01 09:11:01 发布 · 818 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#程序异常退出 #多协程 #maximum recursion depth exceed

在尝试使用Python进行多协程编程，处理上千个URL时，遇到了'Error: maximum recursion depth exceeded'的问题。尽管了解到Python的递归深度默认限制为1000，尝试解决但未成功，程序异常退出，退出代码1073741571。目前问题尚未解决，寻求解决方案。

在多协程程序代码过程中，试验了一个小项目，获取上千个url中页面，代码如下：

import gevent
from gevent.queue import Queue
import time
import requests

from gevent import monkey#把下面有可能有IO操作的单独做上标记
monkey.patch_all() # 将IO转为异步执行的函数

link_list = []
with open(r'D:\...\alexa.txt', 'r') as file:
    file_list = file.readlines()
    for eachone in file_list:
        link = eachone.split('\t')[1]
        link = link.replace('\n','')
        link_list.append(link)

start = time.time()
def crawler(index):
    Process_id = 'Process-' + str(index)
    while not workQueue.empty():
        url = workQueue.get(timeout=2)
        try:
            r = requests.get(url, timeout=20)
            print (Process_id, workQueue.qsize(), r.status_code, url)
        except Exception as e:
            print (Process_id, workQueue.qsize(), url, 'Error: ', e)

def boss():
    for url in link_list:
        workQueue.put_nowait(url)   #不阻塞地存放消息

if __name__ == '__main__':
    workQueue = Queue(1000)