爬虫超时参数

最新推荐文章于 2024-10-18 17:59:57 发布

原创最新推荐文章于 2024-10-18 17:59:57 发布 · 352 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #超时参数

python笔记专栏收录该内容

15 篇文章

订阅专栏

博客围绕Python爬虫超时参数展开。在Python爬虫应用中，超时参数至关重要，它能避免程序长时间等待无响应的请求，提高爬虫效率和稳定性。合理设置超时参数可让爬虫更高效地获取数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
from retrying import retry

# 专门请求URL地址的方法
header1 = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"}  #文件头 User-Agent部分


# 让装饰的函数反复执行3次，三次全部报错才会报错，中间有一次正常，程序继续往后走
@retry(stop_max_attempt_number=3)
def parse1_url(url):
    print("*"*30) #打印分隔符测试
    response = requests.get(url, headers=header1, timeout=5)
    return response.content.decode()


def parse_url(url):
    try:
        html_str = parse1_url(url)
    except:
        html_str = None
    return html_str

#main
if __name__ == '__main__':  #输入 main
    url = "http://www.baidu.com"
    print(parse_url(url)[:100])
    #用错的地址测报错3次
    url1= "www.baidu.com"
    
    print(parse_url(url1))