中国裁判文书网爬虫分析

前言

本篇主要分析文书网爬虫思路，仅供个人学习之用，切勿用于任何商业用途。

---

分析一

中国裁判文书网首页地址：http://wenshu.court.gov.cn/

1. 随便点击一下搜索，进入：
   

2. 进入第一个结果：
   

3. 注意圆圈中的下载按钮，点击下载，一个.docx格式的文档就安安稳稳的躺在你的电脑硬盘上了。
   

4. 到这里初步分析结束，我们自然就想到了爬虫的内容：
   

---

分析二

1. 网页地址：http://wenshu.court.gov.cn/content/content?DocID=532bd8ed-4ba8-48b7-ad70-0063f64ede05，从中提取出DocID，借助fiddler分析：
   
   
2. 用到post方法，post的3个参数DocID已经知道，剩下的htmlStr和htmlName暂时未知，不过很容易就能猜出来，也可以拷贝出来urldecode解码查看具体内容。
   
3. 但是我们仍然不知道htmlStr和htmlName的值怎么来的，接下来查看网页源代码，chrome按ctrl + u或者右键-查看网页源代码：
   
   源网页是没有文档内容的，可以知道是异步加载，我们看到这样一段脚本，CreateContentJS，向一个地址请求信息
   http://wenshu.court.gov.cn/CreateContentJS/CreateContentJS.aspx?DocID=532bd8ed-4ba8-48b7-ad70-0063f64ede05 ，抓包看看。
   
   可以看到，请求的结果就包含了htmlStr和htmlName的值。然后，你需要对这串字符串进行处理，处理过程略过不提。
4. 接下来要得到批量的DocID，回到搜索结果中，同样查看网页源代码我们得知DocID也是异步加载，查看抓包结果：
   
   经过处理后，可以得到json数据：
   
   
   
   也是post方法，