反爬应对策略---设置代理IP

最新推荐文章于 2025-02-03 16:20:07 发布

云飞扬°

最新推荐文章于 2025-02-03 16:20:07 发布

阅读量476

点赞数

CC 4.0 BY-SA版权

分类专栏： Python爬虫文章标签：反爬应对策略---设置代理IP

本文链接：https://blog.youkuaiyun.com/weixin_44706512/article/details/99288326

Python爬虫专栏收录该内容

24 篇文章

订阅专栏

本文介绍如何使用Python的requests库来爬取并显示本机的IP地址，以及如何通过设置代理IP来访问网页，实现网络爬虫的基本技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.在网页中显示本机ip---百度搜索关键词"ip"

# 爬取ip地址
import requests
import re

# url = 'https://www.baidu.com/s?ie=utf-#8&f=8&rsv_bp=1&rsv_idx=1&ch=1&tn=98012088_3_dg&wd=ip
#&rsv_pq=b998ab42002d57a6&rsv_t=2a85d1YUKt4EOVTK5wgVSw%
#2B8EM%2B1RogLXuzL5FvmNQHVfhQzXDkqGhQYbNoAbV3ZCvulzA
#&rqlang=cn&rsv_enter=1&rsv_dl=ib&rsv_sug3=1'
# 上面的地址可以精简为：
url = 'http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&ch=1&tn=98012088_3_dg&wd=ip'
res = requests.get(url)
res.encoding = "utf-8"

pat = '<span class="c-gap-right">本机IP:&nbsp;(.*)</span>'
ip = re.findall(pat, res.text)  # 如果访问不到，可将https改为http
print(ip)

2. 先到ip代理网站http://www.xicidaili.com/中找免费ip

import requests
import re

# 设置代理IP
url = 'http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&ch=1&tn=98012088_3_dg&wd=ip'
ip = '60.13.42.184:9999'
res = requests.get(url, proxies={"http": "http://" + ip})
res.encoding = "utf-8"
print(res)
pat = '<span class="c-gap-right">本机IP:&nbsp;(.*)</span>'
ip = re.findall(pat, res.text)
print(ip)