Python 单线程与多线程批量下载的比较

最新推荐文章于 2024-04-15 17:12:45 发布

原创

最新推荐文章于 2024-04-15 17:12:45 发布 · 4.7k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#python #多线程 #爬虫

这篇博客介绍了作者在学习Python爬虫时进行的一个实验，对比了使用单线程和多线程下载同一个URL列表的效率。通过代码展示，作者发现多线程下载相比单线程大约快了0.6秒，验证了多线程在下载任务中的优势。不过，由于环境中缺少threadpool模块，作者未能尝试线程池进行对比。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目前刚学习了Python，想要自己试试爬虫下载，就看了《Python核心编程》这本书，和综合了网上很多的爬虫下载的代码，所以自己来试试。BTW：我用的是python3.6.

这是单线程下载30个url：

from urllib.request import urlretrieve
import time
import random
start=time.time()
f=open('E:\Python\py\web\hh.txt','r')#打开存放URL的文件
a=f.readlines()
f.close()
for i in a:
b=random.randint(0,30)
urlretrieve(i,'%d.png'%b)
end=time.time()
print(end-start)

输出时间是：4.2432427406311035

同样的url文件，我用多线程和队列来实现：

from urllib.request import urlretrieve
import queue
import threading
import random
import time
class download(threading.Thread):
def __init__(self,que):
threading.Thread.__init__(self)
self.que=que
def run(self):
while True:
&n