串行爬虫

最新推荐文章于 2021-05-13 16:46:01 发布

castingA3T

最新推荐文章于 2021-05-13 16:46:01 发布

阅读量487

点赞数

分类专栏： python爬虫

本文链接：https://blog.youkuaiyun.com/castingA3T/article/details/79269613

版权

python爬虫专栏收录该内容

27 篇文章

订阅专栏

本文介绍了一个使用Python批量检查文件中列出的多个URL链接状态的脚本实现。通过读取文本文件中的链接列表，并利用requests库获取每个链接的状态码，该脚本能够高效地完成检查任务并打印出每个链接的状态码，同时记录总的执行时间。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
import time

link_list=[]
with open('C:/Users/Administrator/Desktop/alexa.txt','r') as file:
    file_list = file.readlines()
    for eachone in file_list:
        link = eachone.split('\t')[1]
        link = link.replace('\n','')
        link_list.append(link)

start = time.time()
for eachone in link_list:
    try:
        r = requests.get(eachone)
        print(r.status_code,eachone)
    except Exception as e:
        print('Error:',e)
end = time.time()
print('串行总时间：',end - start) 

串行总时间： 981.4291346073151

1000个链接下载地址：
https://github.com/Santostang/PythonScraping/blob/master/Cha%207%20-%E6%8F%90%E5%8D%87%E7%88%AC%E8%99%AB%E7%9A%84%E9%80%9F%E5%BA%A6/alexa.txt