使用代理服务获取网页源代码测试

原创已于 2023-03-19 18:41:45 修改 · 816 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#经验分享

于 2023-03-19 18:39:23 首次发布

Python网络爬虫专栏收录该内容

6 篇文章

订阅专栏

这段代码展示了如何使用Python的requests库进行网络请求，包括通过代理服务和直接访问URL。首先，它从API获取代理信息，然后设置请求头，利用代理进行HTTPS请求。如果无代理，直接使用提供的headers发送GET请求。响应内容被解码为UTF-8并打印出来。

import requests
url = "输入测试访问网址"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36"}
API = '输入代理服务的API接口'
response = requests.get(API)
print(response.text)
proxy = {'https': response.text.split('\r')[0]}
print(proxy)
resp = requests.get(url, headers=headers, proxies=proxy, verify=False, timeout=5)
resp.encoding = "UTF-8"
print(resp)
print(resp.text) 
resp.close()

如果使用自己的网络就用以下代码：

import requests
url = "输入测试访问网址"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36"}
resp = requests.get(url, headers=headers)
resp.encoding = "UTF-8"
print(resp)
print(resp.text)
resp.close()