菜鸟吴de博客

import os import time from concurrent.futures import ProcessPoolExecutor from multiprocessing import Manager def task(file_name, count_dict): ip_set = set() total_count = 0 ip_count = 0 file_path = os.path.join("file", file_name) file

写爬虫项目时，为防止某一个爬虫挂了影响到其他爬虫的进行，所以对爬虫单独开启一个进程，然后设置每个爬虫时间范围，如果超出了这个时间，则将该爬虫的进程kill掉，这样可以不影响其他爬虫任务的进行。使用subprocess模块 ```python # scrapy crawl *** -a taskid=*** spider_name = gbl.gConfig.get('spiders_info').get('gxmobile').get(spider_type) cmd = [env_pat