使用高匿代理访问西刺代理（假如ip被封可用高匿ip访问网站）

最新推荐文章于 2024-09-09 17:13:40 发布

TheSkies

最新推荐文章于 2024-09-09 17:13:40 发布

阅读量8.6k

点赞数

CC 4.0 BY-SA版权

分类专栏：基础爬虫文章标签：高匿代理

本文链接：https://blog.youkuaiyun.com/weixin_38920937/article/details/81711683

基础爬虫专栏收录该内容

16 篇文章

订阅专栏

本文演示了如何使用Python的requests库配合代理池抓取西刺代理网站的内容。通过设置User-Agent和代理，实现了对目标网站的成功访问，并打印出了网页源代码。

import requests

url='http://www.xicidaili.com'

#代理池
proxy = {
    'http':'http://140.205.222.3:80'
}

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
}
response = requests.get(url,headers=headers,proxies=proxy)
#输出西刺首页
print(response.content.decode('utf-8'))