爬虫cookies加密 521的处理

本文介绍了一种方法,通过Python处理动态IP和网站加密Cookies的问题。使用selenium与Chrome浏览器配合,获取加密后的Cookies,再进行网络请求,确保能正确访问目标页面。同时,当IP发生变化时,脚本会发送邮件通知,便于远程控制家中的Linux机器。此外,还提到了使用QQ邮箱发送授权码作为密码的注意事项。

家里弄了台linux机器做平常写代码练手用, 我又喜欢窝在星巴克,那怎么远程脸上动态ip的家里内网呢?

1. 你可以用花生壳域名,  (我不想被监控也不想折腾,所以放弃了)

2. 直接用动态ip连上去,但是ip改变了怎么办呢? 所以就写了个脚本来实时获取外网ip,一旦IP变动了,立刻发邮件给自己,这样你就能够随时知道最新的ip了

这个应该很简单嘛,  用python来实现. 于是开动起来:

import requests

headers = {
    .......
    ......
    pass
    ......
    }
url = 'https://www.ipip.net'
html = requests.get(url, headers=headers)
print(html.state_code)

headers 我省略了, 然后发现print出来的是 521 ? 这是什么鬼? 于是把整个page打印出来

print(html.text)

发现结果是这样一串js代码:

var x="@@toString@@@cookie@GMT@@pathname@1538022991@Thu@attachEvent@div@@@@replace@@@reverse@1@createElement@@e@document@Array@innerHTML@length@challenge@@fromCharCode@captcha@charCodeAt@window@1500@eval@@location@36@else@0xFF@toLowerCase@substr@href@Sep@var@if@chars@@onreadystatechange@false@@@@search@@d@GT@@firstChi
### 如何使用爬虫抓取和处理网站Cookies 在构建网络爬虫时,正确管理Cookies对于模拟真实用户的浏览行为至关重要。这不仅有助于绕过某些反爬虫机制,还能帮助维持用户会话状态。 #### 使用`requests`库手动处理Cookies 为了实现这一点,可以利用Python中的`requests`库来进行操作。该库允许开发者轻松发送HTTP/1.1请求,并提供了方便的方法来管理和保存Cookies[^1]: ```python import requests session = requests.Session() response = session.get('http://example.com') print(session.cookies.get_dict()) ``` 这段代码创建了一个新的Session对象,它会在后续的所有请求之间共享相同的连接参数——包括Cookies。通过访问`.cookies`属性可以获得当前存储于Session内的所有Cookies信息。 #### 结合Cookies与Session进行登录验证 当面对需要先登录才能获取特定资源的目标站点时,理解如何运用Cookies配合Session就显得尤为重要了。通常情况下,在成功完成一次POST提交用户名密码之后,服务器端会给客户端返回一组用于识别身份的新Cookies;此时如果能够及时捕获下来,则可以在接下来的页面加载过程中自动带上这些认证凭证从而顺利进入受保护区域[^2]: ```python login_url = 'https://secure.example.com/login' payload = { 'username': 'your_username', 'password': 'your_password' } with requests.Session() as s: p = s.post(login_url, data=payload) r = s.get('https://secure.example.com/dashboard') # 假设这是只有登录后可见的内容页 print(r.text) ``` 这里展示了完整的流程:初始化Session -> 发送带有表单数据的POST请求以尝试登陆 -> 利用已建立好的Session去发起其他GET请求读取私密资料。 #### 应用场景下的具体实践 实际项目里可能会遇到更复杂的情况,例如有些网站采用动态加密算法或者其他高级安全措施防止自动化工具轻易获得有效Cookies。这时就需要更加深入的研究目标平台的工作原理,甚至可能涉及到逆向工程等方面的知识[^3].
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值