Python爬虫进阶必备 | 关于某电商网站的加密请求头 if-none-match 的分析

最新推荐文章于 2025-06-26 16:58:46 发布

咸鱼学 Python

最新推荐文章于 2025-06-26 16:58:46 发布

阅读量1.5k

点赞数 2

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/weixin_43189702/article/details/105085827

本文介绍了如何分析一个电商网站的加密请求头`if-none-match`。通过定位加密过程，利用断点调试，发现加密字段在xhr请求前生成，并在代码中找到加密逻辑。加密方法简单，涉及字符串拼接和固定字符串的使用。最后，文章提到了一个与北京大学出版社合作的赠书活动。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

点击上方“咸鱼学Python”，选择“加为星标”

第一时间关注Python技术干货！

建议收藏 | 最全的 JS 逆向入门教程合集

目标网站

aHR0cHM6Ly94aWFwaS54aWFwaWJ1eS5jb20vc2VhcmNoP2tleXdvcmQ9JUU3JTk0JUI3JUU3JUFCJUE1JUU0JUI4JThBJUU4JUExJUEz

先来看看这个网站需要分析的加密是什么？

这次的网站例子来自「咸鱼的Python交流群」，一个群友遇到之后发到群里的。【图1-1】

图1-1

在这个网站搜索商品的时候会出现请求头if-none-match，之前咸鱼的很多例子都没有写到如何分析请求头的加密参数应该如何分析，所以拿这个

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

咸鱼学 Python

关注关注

2
点赞
踩
4

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Python爬虫实战：研究js混淆加密

ylfhpy的博客

05-12

1236

在数字化时代，数据采集面临JS混淆加密技术的挑战。本文探讨了如何利用Python爬虫技术应对这一挑战，通过实际案例展示了解决方案。文章首先介绍了Python爬虫基础库如Requests、BeautifulSoup和Scrapy，以及处理JS混淆加密的关键技术如Selenium和PyExecJS。接着，详细分析了JS混淆加密的定义、常见方法及其对爬虫的影响。在案例应用中，通过Selenium模拟浏览器行为、分析和破解JS混淆加密代码，以及使用代理IP池和请求头伪装技术规避反爬机制，成功爬取了电商网站的商品信息

Python爬虫入门与登录验证自动化思路

littleschemer的博客

06-09

3338

Python爬虫是通过编写程序自动访问网页并提取信息的技术，常用于数据抓取、信息分析和自动化测试。然而，爬虫开发中最具挑战性的是处理网站的登录验证，尤其是图片验证码。为了应对这一问题，开发者可以采用半自动化或全自动化的方式，利用打码平台自动识别验证码，并通过Selenium工具模拟用户操作。

2 条评论您还未登录，请先登录后发表或查看评论

Etag和if-None-Match

weixin_33941350的博客

09-16

2475

前言最近在跟后台对接口时，发现请求同一个接口时总是一次成功一次失败这样间隔着来，很是困扰。请求失败的时候报的错时502 Not Modified,这个报错也是百思不得解。在我掌握的知识里502时服务器错误，而Not Modified对应的状态码应该时304，但这样的报错提示是从来没有遇到过。另外这个错误也只是在本地跑的时候会有，放到线上的环境就很正常，第二次请求时也是304而不会报错。得闲我比...

请求首部:If-None-Match

program is a art

03-31

844

它和首部字段If-Match作用相反.用于指定If-None-Match字段值的实体标记(ETag)值与请求资源的ETag不一致时,它就告知服务器处理该请求

缓存验证：Last-Modified / If-Modified-Since 和 ETag / If-None-Match

最新发布

求职大学生

06-26

318

特性ETag精度秒级字节级（更精确）唯一性基于时间戳，可能重复唯一标识符，每次变更都会变性能开销较低（只需比较时间）略高（需计算哈希等）兼容性所有 HTTP/1.0 及以上支持需要 HTTP/1.1 或以上适用场景简单静态资源缓存验证动态资源、CDN、负载均衡环境。

Etag & If-None-Match 专题

weixin_34007886的博客

10-21

674

一、概述缓存通俗点讲，就是将已经得到的‘东东’存放在一个相对于自己而言，尽可能近的地方，以便下次需要时，不会再二笔地跑到起始点（很远的地方）去获取，而是就近解决，从而缩短时间和节约金钱（坐车要钱嘛）。Web缓存，也是同样的道理，说白了，就是当你第一次访问网址时，将这个东东（representations），如html页面、图片、JavaScript文件等，存在一个离你较近的地方，当你下次还需要它...

爬虫进阶必备！关于某电商网站的加密请求头if-none-match 的分析

爬遍所有网站

04-15

1092

图1-1 在这个网站搜索商品的时候会出现请求头if-none-match，之前咸鱼的很多例子都没有写到如何分析请求头的加密参数应该如何分析，所以拿这个例子大概讲讲。定位加密按照之前的套路，想到的第一步是搜索if-none-match，搜索的结果非常具有迷惑性。【图2-1】图2-1 打开这个文件，直接检索if-none-match没有找到命中项，但是搜索If-None-Mat...

HTTP 协议请求头 If-Match、If-None-Match 和 ETag

小单的博客专栏

11-02

6677

在 HTTP 协议中，请求头If-MatchIf-Range主要是为了解决浏览器缓存数据而定义的请求头标准，按照协议规范正确的判断和使用这几个请求头，可以更精准的处理浏览器缓存，从而达到提高系统性能和减少系统带宽的占用的目的。1、减少了网络交互，加快页面响应速度，增强用户体验；2、减少了网络带宽消耗，因为没有更新的资源就不需要重复返回了，特别是图片、视频、下载文件这类大响应体请求；当请求中存在上述If-xxx。

Python速成指南：进阶篇

weixin_44067082的博客

06-30

1959

欢迎来到Python速成指南的进阶篇。如果你已经完成了基础篇的学习(Python速成指南：从零开始的编程之旅-优快云博客)，并且对Python的基本概念有了扎实的理解，那么你已经为进入更深层次的Python世界做好了准备。在这个进阶篇中，我们将深入探讨Python的高级特性，并着重于如何在实际工作中应用这些知识。深入理解Python的高级特性掌握在实际项目中常用的技巧和最佳实践提高代码质量和性能了解Python在各个领域的专业应用让我们开始这段激动人心的Python进阶之旅吧！

Python爬虫进阶指南：cnvd漏洞信息抓取效率的终极优化

本文首先概述了Python爬虫技术的现状，并深入探讨了CNVD漏洞信息的结构特点、网页结构分析以及Python爬虫的基础知识。接下来，文章重点介绍了如何构建高效的数据请求机制，优化数据解析与提取，并阐述了缓存策略与...

浏览器不发送If-None-Match 请求头部信息

zlp1992的专栏

11-16

7778

为了提升性能，服务器端可以使用ETag利用本地缓存，避免多次重复的请求，然而自己在使用ETag的时候，发现无论是Chrome还是firefox，浏览器的请求头均没有发送If-None-Match头部，网上搜查，说chrome要将开发者工具中的Disable-cache取消勾选但是自己这样处理后，浏览器仍然没有发送If-None-Match请求头部。后面才发现，请求的url不对

shopee虾皮数据爬取之加密请求头if-none-match参数

红尘的雨，迷人的你

04-07

2794

''' curl -H 'Host: shopee.com.my' -H 'Cookie: _gcl_au=1.1.206546107.1614132244; _ga=GA1.1.977826963.1614132256; language=zhHans; SPC_IA=-1; SPC_EC=-; SPC_U=-; REC_T_ID=9cf9942a-7644-11eb-b8aa-08f1ea7b38f0; SPC_F=SZDMJvv0IqG3MqPWvZR60swpqexdBkjH; REC_T_ID.

HTTP 相应头相关

小强快跑~~

11-09

1331

If-Modified-Since & If-None-Match If-Modified-Since，和 Last-Modified 一样都是用于记录页面最后修改时间的 HTTP 头信息，只是 Last-Modified 是由服务器往客户端发送的 HTTP 头，而 If-Modified-Since 则是由客户端往服务器发送的头，可以看到，再次请求本地存在的 cache 页面时，客户端会

ETag/If-None-Match

lituanjieba的博客

07-30

1516

而ETag/If-None-Match则是上文大话中说的第二种check服务端文件是否更新的方式，也要配合Cache-Control使用。实际上ETag并不是文件的版本号，而是一串可以代表该文件唯一的字符串（Apache中，ETag的值，默认是对文件的索引节（INode），大小（Size）和最后修改时间（MTime）进行Hash后得到的。），当客户端发现和服务器约定的直接读取缓存的时间过了，就在请

HTTP 协商缓存 ETag、If-None-Match

小楼一夜听春雨，深巷明朝卖杏花

09-20

1077

（3）服务器再次收到资源请求时，根据浏览器传过来If-None-Match和然后再根据资源生成一个新的ETag，如果这两个值相同就说明资源没有变化，否则就是有变化；与Last-Modified不一样的是，当服务器返回304 Not Modified的响应时，由于ETag重新生成过，response header中还会把这个ETag返回，即使这个ETag跟之前的没有变化。（1）浏览器第一次跟服务器请求一个资源，服务器在返回这个资源的同时，在respone header加上ETag。

虾皮请求头 if-none-match逆向破解

shancyr45的博客

02-23

2450

虾皮请求头 if-none-match逆向破解接口url：https://xiapi.xiapibuy.com/api/v2/item/get?itemid=11708405&shopid=3525435 加密规则： ‘55b03-’ +md5(’’+‘55b03’+md5(‘itemid=11708405&shopid=3525435’)+‘55b03’) 以上内容仅供学习。逆向破解思路参考 ...

Nginx 客户端缓存Etag和If-None-Match

小楼一夜听春雨，深巷明朝卖杏花

05-25

5836

浏览器缓存和Nginx缓存使用缓存是最有效的提高访问速度的方法，在web服务器的场景当中不仅要考虑nginx作为缓存服务时候的使用方法还得考虑浏览器中的缓存失效的场景，因为浏览器缓存是否生效可以通过nginx指令去控制。浏览器的缓存对用户体验也是最大的。使用浏览器缓存，即本地缓存，只需要读取本地的磁盘或者内存就可以了。通常是同时使用浏览器和nginx缓存。 Etag头部 Etag是存在于HTTP响应当中的，是Nginx向浏览器返回时添加的，它来标识一个特定版本的资源，Etag的值是通过上次.

HTTP头：If-Modified-Since, If-None-Match

阿K_ay的专栏

10-28

4219

参考网址：http://www.cnblogs.com/jams742003/archive/2010/02/01/1660912.html

条件式请求首部 If-None-Match,If-Modified-Since

qq_48550824的博客

05-11

274

If-None-Match - HTTP | MDN If-Modified-Since - HTTP | MDN