python 爬虫多线程/多进程

from multiprocessing.dummy import Pool    #多线程
from multiprocessing import Pool          #多进程
#io密集型操作适合多线程,cpu密集型操作适合多进程,爬虫推荐多线程

def get_info(url):
    pass
urls = ['1','2'] #列表生成式
pool = Pool(processes=6) #线程数
pool.map(get_info, urls) #函数名,迭代urls

参考资料:

网易云课堂: 课程图片 看文档学爬虫(python3.6)

知乎: 为什么有人说 Python 的多线程是鸡肋呢？

博客:python 进程、线程