Python 爬虫 | 善用Charles

小编我个人是有接触炒股的，央妈说的话对市场的影响力是很大，要是我们可以知道央妈每天都发了什么公告或许可以对我们的操作有所帮助。

目标网站

aHR0cCUzYSUyZiUyZnd6ZGlnLnBiYy5nb3YuY24lM2E4MDgwJTJmc2VhcmNoJTJmcGNSZW5kZXIlM2ZwYWdlSWQlM2RmYTQ0NWY2NDUxNGM0MGM2OGIxYzhmZmU4NTljNjQ5ZQ==

目录：

1、环境

2、分析网站

3、实现爬取

1、环境

Python3.7、lxml、requests、Charles抓包工具

2、分析网站

图2-1

搜索“公开市场业务交易公告“得图2-1

图2-2

图2-3

很容易就可以找到数据在第一个请求中，查看请求如图2-3，app这个参数感觉是MD5加密，但是这里先不急着对参数进行逆向。

图2-4

这里转用Charles进行抓包，修改参数可以帮助我们确定哪些参数系统是不校验的，这就可以避免很多不必要的工作

先把空的参数去掉，如图2-5

图2-5

去掉空的参数再次请求，如图2-6

图2-6

图2-7

去掉空参数请求得到的数据size和原本基本无差，说明去掉的参数无关紧要

当我试着去掉参数app再请求的时候发现居然也可以获得数据如图2-8

图2-8

既然这样谁还去傻傻的逆向参数app是怎么来的呀，加几个固定参数就好了，本文结束。如何爬取数据的我就不写了看过我之前的推文就肯定没问题，注意这里是post请求。