python语言如何正确使用亿牛云爬虫代理

最新推荐文章于 2024-11-05 09:51:28 发布

Laicaling

最新推荐文章于 2024-11-05 09:51:28 发布

阅读量446

点赞数 1

CC 4.0 BY-SA版权

分类专栏：数据采集爬虫代理 http代理网络爬虫文章标签：网络爬虫代理亿牛云范范

本文链接：https://blog.youkuaiyun.com/Laicaling/article/details/87717815

本文介绍了在Python中如何利用requests库结合亿牛云提供的爬虫代理服务，有效进行HTTPS网站的访问。内容包括设置代理、处理请求等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

requests(tunnel)访问HTTPS网站
#! -- encoding:utf-8 --
import requests
import random
import requests.adapters

# 要访问的目标页面
targetUrlList = [
    "https://httpbin.org/ip",
    "https://httpbin.org/headers",
    "https://httpbin.org/user-agent",
]

# 代理服务器
proxyHost = "t.16yun.cn"
proxyPort = "31111"

# 代理隧道验证信息
proxyUser = "username"
proxyPass = "password"

proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
    "host": proxyHost,
    "port": proxyPort,
    "user": proxyUser,
    "pass": proxyPass,
}

# 设置 http和https访问都是用HTTP代理
proxies = {
    "http": proxyMeta,
    "https": proxyMeta,
}

#  设置IP切换头
tunnel = random.randint(1, 10000)
headers = {"Proxy-Tunnel": str(tunnel)}


class HTTPAdapter(requests.adapters.HTTPAdapter):
    def proxy_headers(self, proxy):
        headers = super(HTTPAdapter, self).proxy_headers(proxy)
        if hasattr(self, 'tunnel'):
            headers['Proxy-Tunnel'] = self.tunnel
        return headers


# 访问三次网站，使用