Python爬取网页动态数据出现urllib.error.HTTPError: HTTP Error 504: Gateway Time-out问题

原创已于 2022-11-16 10:31:18 修改 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #http #gateway

于 2022-11-16 10:30:30 首次发布

本文介绍了三种设置HTTP请求超时的方法：通过urlopen的timeout参数、全局设置socket超时以及使用retry库实现异常时的重试机制。通过这些策略，可以提高网络请求的稳定性和可靠性。

方法一、为urlopen设置可选参数 timeout

import time

url = 'http://zfcj.gz.gov.cn/zfcj/fyxx/xmxkbxxView'

headers = {
    # 'Cookie': 'JSESSIONID = 8C7817E6724F3E07A80D6CA9B3246069; UqZBpD3n3iXPAw1X = v1Si-sgwSDT9p',
    'User-Agent': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)'
}

data = {
    'token': token,
}

# url 请求地址
# data 请求参数
# kwargs 字典
response = requests.post(url=url, data=data, headers=headers,timeout=10)
content = response.text
response.close()

方法二、设置全局的socket超时：
import socket
socket.setdefaulttimeout(10.0)

方法三、设置出现异常重试：

加上这个注解这个方法出现异常的时候就会重试

from retrying import retry


@retry(stop_max_attempt_number=5, wait_fixed=2000)
def create_request(token):


    url = 'http://zfcj.gz.gov.cn/zfcj/fyxx/xmxkbxxView'

    headers = {
        # 'Cookie': 'JSESSIONID = 8C7817E6724F3E07A80D6CA9B3246069; UqZBpD3n3iXPAw1X = v1Si-sgwSDT9p',
        'User-Agent': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)'
    }

    data = {
        'token': token,
    }

    # url 请求地址
    # data 请求参数
    # kwargs 字典
    response = requests.post(url=url, data=data, headers=headers,timeout=10)
    content = response.text
    response.close()

    tree = etree.HTML(content)
    result = tree.xpath('//a[@class="a_block"]/@onclick')
    return result