为了visa面签预约学习python爬虫-DAY4

本文介绍了在爬虫过程中处理验证码、利用cookie保持会话状态以及使用代理应对反爬策略的方法,包括session的使用、不同类型的代理及其匿名度。作者强调了爬虫中的复杂性,如信息定位、验证码识别和IP管理的重要性。
1.验证码

这里对验证码的处理主要是依靠第三方工具:云打码等,由于第三方工具需要付费,且我的目标网站登录时并不需要验证码,因此我并没有在这个地方花太多时间,先略过。

2.cookie

因为https/http协议的特性是无状态,服务器并不知道你的登录状态,但是用户不可能访问网站内每一个页面都需要登录,因此一些基本的信息如用户的登录信息等需要存储在cookie中。而cookie对象是存储、被携带在session对象中的。

爬虫我们需要在request模块中使用session对象:首先要创建session对象:session=requests.Session(),其次使用session对象进行模拟登录post请求,然后用session对目标页面进行get或post请求。可以理解为,使用session对象登录后,对应的cookie会被存储在session对象,而后的每一次请求都会自动带上对应的cookie

3.代理

使用代理是为了应对“封IP”这样的反爬机制

代理的相关网站:快代理     免费私密代理IP_IP代理_HTTP代理 - 快代理   、西祠代理、www.goubanjia.com,还有从gpt那里问到的Free lists of checked proxy servers online – Proxy-Tools.com(我下面的测试代码就是用了这里面的代理地址来进行模拟测试成功的,其他网站找到的免费站点不是超时就是400)

代理IP的匿名度:

-透明:服务器知道该次请求使用了代理

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值