代理使用

最新推荐文章于 2024-12-22 16:34:07 发布

原创最新推荐文章于 2024-12-22 16:34:07 发布 · 210 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了一种使用Python的requests库通过代理服务器爬取天眼查网站的方法。通过设置代理元数据，实现了对目标网站的有效访问，展示了如何配置代理及获取网页状态码。

import requests
#需要爬取的目标网站
targetUrl = "https://www.tianyancha.com/"

# 代理服务器
proxyHost = "http-dyn.abuyun.com"
proxyPort = "9020"

# 代理隧道验证信息
proxyUser = "H8V20V5798P104MD"
proxyPass = "5907BAA24D625C24"

proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
  "host" : proxyHost,
  "port" : proxyPort,
  "user" : proxyUser,
  "pass" : proxyPass,
}

proxies = {
    "http"  : proxyMeta,
    "https" : proxyMeta,
}

resp = requests.get(targetUrl, proxies=proxies)
print(proxies)
print(resp.status_code)
# print(resp.text)