本文介绍了Python多线程爬虫的优势，使用multiprocessing库的Pool实现多线程，并展示了如何爬取中商官网上的股票相关表格，生成了上市公司基本信息.csv文件。代码在2019年11月编写，至今仍能正常运行。
一、多线程功能与库
1.多线程功能
一个线程、一个进程，称为单线程爬虫，单线程爬虫每次只能访问一个页面。
多线程爬虫可以同时访问10个页面，或者更多，相当于爬取速度提高了10倍。
2.多进程库
多进程库：multiprocessing
multiprocessing的dummy模块，可以让python使用multiprocessing。
Dummy下面有一个Pool类，用来实现多线程。
from multiprocessing import Pool
pool=Pool(processes=4) ＃创建进程池
pool.(func,i
订阅专栏 解锁全文
扫一扫
1970
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
