Python爬虫之线程池

详情点我跳转

关注公众号“轻松学编程”了解更多。

一、为什么要使用线程池？

对于任务数量不断增加的程序，每有一个任务就生成一个线程，最终会导致线程数量的失控，例如，整站爬虫，假设初始只有一个链接a，那么，这个时候只启动一个线程，运行之后，得到这个链接对应页面上的b，c，d，，，等等新的链接，作为新任务，这个时候，就要为这些新的链接生成新的线程，线程数量暴涨。在之后的运行中，线程数量还会不停的增加，完全无法控制。所以，对于任务数量不端增加的程序**，固定线程数量的线程池是必要的**。

二、如何实现线程池？

1、使用threadpool

使用threadpool模块，这是个python的第三方模块

pip install threadpool

示例：

import threadpool
import ti