猿人学 — 第1届第17题（解题思路附源码）

原创 已于 2024-10-11 21:05:07 修改 · 1.2k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#网络爬虫 #httpx #python #猿人学

于 2024-10-11 20:44:24 首次发布

猿人学 — 第1届第17题

  • 根据题目“天杀的Http2.0”大概知道，请求的协议应该遵照的是Http2.0协议，并且目标网站专门对此进行了检测，在Network面板中右键表头，勾选Protocol

    在这里插入图片描述

  • 果不其然，一堆请求都是遵照Http2.0协议。而urllib和request只支持HTTP/1.1协议访问，因此面对强制使用HTTP/2.0协议访问的网站无法爬取数据，所以这里选择支持HTTP/2.0协议访问的httpx

  • 继续抓包分析可知，http://match.yuanrenxue.cn/match/17请求的响应体中返回了Set-Cookie，设置了sessionid。可知必须先请求对其请求获取sessionid后再进行后续请求

    在这里插入图片描述

  • 源码如下

    import httpx

# httpx和req
最低0.47元/天 解锁文章
Learner_HJ
关注
【猿人学WEB题目专解】猿人学第17题
user_from_future的博客
05-09 329
天杀的http2.0
【猿人学第17题】天杀的http2.0
m0_37694033的博客
12-22 1972
http1.1 如上 http2.0如上 chrome中通过查看protocol，可以看出使用的http版本。 通过查看protocol,发现所有题目的数据接口都是使用http2.0的。 那为什么我在其他题目中使用requests进行http1.1的请求也能成功访问到？ 答： http2.0兼容http1.x,所以浏览器使用2.0一样可以访问，其他题目也并没有在接收请求时验证http版本 而只有17题在后台规定了要使用http2.0（应该是在进行验证请求的时候，判断http版本，如果不是2.0则返回er.
猿人学第17题题解
nickyfox的博客
01-27 1459
猿人学第17题http2.0题解
js逆向系列之猿人学爬虫第17题-天杀的http2.0
自成背后的博客
03-25 6060
文章目录1. 目标网站2. 抓包分析3. 编码测试 1. 目标网站 网址： https://match.yuanrenxue.com/match/17 2. 抓包分析 这道题目，叫天杀的http2.0，估计应该是用的http2.0协议。 我们验证一下，打开谷歌浏览器的console输入：window.chrome.loadTimes() 可以看到输出的connectionInfo 和 npnNegotiatedProtocol 是h2就说明使用的是http2。 再把我以前的博客粘一下。 现在的大部分网
【非常简单】 猿人学web第一届 第17题 天杀的 Http2.0
m0_69843492的博客
09-03 294
题目标题已经很明显了，Http2.0数据接口对应的请求协议也为 http2.0。
猿人学— 第一届第1题（解题思路附源码）
Learner_HJ的博客
10-09 1451
猿人学网站第一届第1题的解题思路附带源码
猿人学第二届第一题解题小记
06-06
猿人学第二届第一题解题小记
猿人学 — 第1届第13题（解题思路附源码）
Learner_HJ的博客
10-10 939
猿人学第1届第13题小白解题思路，文末附源码
猿人学 — 第1届第4题（解题思路附源码）
Learner_HJ的博客
10-15 580
猿人学第1届第4题解题思路附源码。主要考点：css偏移，样式干扰。
JS每N日一练 -- 猿人学 任务十七
kinghzking的专栏
01-19 1535
文章目录导读注入axiosxxhr.js:162 Refused to set unsafe header "User-Agent"参考资料 导读 日期：2022-1-19 最近发现个js逆向的刷题网站，猿人学，作为新手，练练手，总结一下自己所学。 注入axios 参考：JS练习 – 动态加载JS即可。 x function loadJS( url, callback ){ var script = document.createElement('script') var fn =
猿人学17题-天杀的http2.0
m0_46623754的博客
12-05 1034
前言：我们来了解一下http2.0，http2.0是为了加快网页渲染速度所发布的新的协议，我们之前使用的request只能够get请求到http1.0的数据而http2.0就没有办法了，所以为了爬取http2.0的数据，我们需要了解一个第三方库hyper来帮助我们获取数据，有了hyperlpr库在手，抓取数据简直轻轻松松。hyper使用文档 http协议版本在这里查看 1.安装hyperlpr库 pip install hyper -i https://pypi.douban.com..
猿人学第十七题—天杀的http2.0
最新发布
xiao_a_lian的博客
05-10 292
这个地方，显示的是http2.0，协议不一样，普通的request只能发http1.0的请求，所以应该用httpx去发请求。这道题比较有意思，如果没看到题目，可能真看不出来。如果发起请求，就显示失败。
猿人学第十七（天杀的http2.0）
Mr_yuhan6的博客
08-17 324
我做这道题之前的h2的版本是2.6.2一直给我报错，然后我就更新了h2库，但发现依旧2不行原来是没更新到，最后把Pycharm关了重新安装最新的h2库终于成功了。使用httpx库时要注意h2库的版本要不然会报 AttributeError: ENABLE_CONNECT_PROTOCOL。我安装的h2版本为4.1.0 ,这次就成功了 ，最好自己到Python解释器更新h2，这篇文章最后就到这了。# 创建一个httpx的HTTP/2.0客户端。# 发起HTTP请求。使用的库是httpx。
python爬虫 - 猿人学第十九题突破ja3指纹验证
app安全逆向、移动开发、tls/ja3、爬虫、反爬
12-12 7495
ja3指纹破解，骚操作删除原生加密算法
猿人学第二届第二题
zhuangjoo的博客
04-04 1759
第一处是第二处拼接了个时间戳，时间戳好弄，要么是new Date生成的，要么是刚才那个图片包返回的，还有一处是第二处去掉来token=，所以我们直接跟这个变量，很容易就找到生成的地方。每次分页明显抓到两个包，一个数据包一个图片包，但这个图片包很奇怪，每次返回同样的，明显不合理，用fidder抓包或者python逆向下这个包，可以看到是返回一个时间戳。到这儿别慌，这是内存爆破引起的，碰到这样的问题，极大可能是格式监测引起的，我们可以借助压缩代码网站，把格式化后的代码还原回去。那就极大可能是缺少环境。
【猿人学】第一题详细解题步骤（附带源码）
学海无涯
02-20 5270
我们直接把函数拷贝至新建的代码段中执行，然后控制台输出加密逻辑的几个变量，如下。我们在浏览器新建个无痕模式，把上述代码拷贝过来然后执行一下。老规矩，我们先抓包分析下，加密参数如下，没有什么难度。生成的结果是不同的，感兴趣的可以自己测试一下。实现完整的请求流程，完整代码如下，需要的自取。接下来我们先观察下启动器，加密逻辑不可能在。文件中的，排除这个选项后，如下图。填入上述计算的结果即可，如下图。然后再点击下一页，发现断住了。，再结合作者要考察的目标。还原下，还原核心如下。编码的字符串，我们对。
猿人学-第一题
爱吃辣椒的锅包肉
07-30 1233
猿人学-第一题
猿人学相关笔记
qq_63274869的博客
08-17 249
猿人学第2题cookie逆向
深入探讨JavaScript逆向分析：猿人学第四题雪碧图样式干扰解析
资源摘要信息:"本文重点介绍了如何使用JavaScript进行逆向工程分析，特别是针对猿人学平台发布的第四题中的雪碧图样式干扰问题。雪碧图（CSS Sprites）是前端开发中常用的一种技术，用于将多个小图标合并到一个大...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值