记录用web scraper爬取裁判文书网的文书列表信息以及批量下载word文书

这个是一位网友在B站交流的一个问题，这里记录一下。

需求

1、爬取的网站地址：http://wenshu.court.gov.cn/website/wenshu/181217BMTKHNT2W0/index.html?pageId=7bcf3b0574e320a487ada1f504759be4&s21=%E8%B5%94%E5%81%BF

2、需要抓取的信息

爬取文书列表内容，报告标题、文号、日期、摘要等等信息。

3、需要抓取多页，比如说前10页。

分析网站的情况

1、抓取的页面翻页的时候，url是不会变的。而在页面的源码当中又找不到内容，说明网页是通过异步加载的。

2、打开F12，就会弹出下面的暂停提示，阻止后续的查看。没事，点击右下角的取消断点，再运行即可。

3、点击“network”，点击网页的第二页，查看请求的数据。

可以看到，是post请求，后面需要有一堆的参数

一般而言，通过这样请求之后，可以获取到真实的json文件，里面就包含了网页中文书的列表当中，然而这次却是不一样，请求得到的居然是加密的信息，还需要通过一定方式来进行解密才行。

到这里，已经可以感受到网页开发人员的“苦心”，反爬的措施可谓是非常的多。不过，我还是在网上找到了一篇网友关于用python解决这上面问题的办法和代码