Python网络爬虫——超时设置

最新推荐文章于 2025-06-29 09:59:06 发布

General_单刀

最新推荐文章于 2025-06-29 09:59:06 发布

阅读量6.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Python Python网络爬虫

本文链接：https://blog.youkuaiyun.com/qq_28284093/article/details/81475700

Python 同时被 2 个专栏收录

22 篇文章

订阅专栏

Python网络爬虫

10 篇文章

订阅专栏

本文介绍了一种通过设置超时时间来优化网页爬取效率的方法，并提供了一个使用Python进行爬取百度首页的示例代码，该代码通过限制请求响应时间来避免因等待响应而造成的资源浪费。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、简介

有的时候，访问一个网页，如果该网页长时间未响应，那么系统就会判断该网页超时了。但是，有的时候我们需要根据自己的需要来设置超时的时间值，比如，以10秒做为判断一个网页是否超时的标准。

2、应用

循环99次爬虫百度首页的网站，将超时时间设置为1秒。

# *-*coding:utf-8*-*
from urllib import request
for i in range(1,100):  # 循环99次去爬取网站
    try:
        file = request.urlopen("http://www.baidu.com",timeout=1) # 超时时间设置为1秒
        data  = file.read()
        print(len(data))
        print(i)
    except Exception as e:
        print("出现异常-->" + str(e))

运行结果如下：