【实战】基于urllib和BeautifulSoup爬取jsp网站的数据

前言

网络数据爬取大致分为两类：

静态爬取：该种方式针对那种架构比较老的网站，使用模版方式，通过浏览器F12只能找到静态页面，找不到返回json数据的接口，数据以html的方式存在

api爬取：网站采用前后端分离架构，可以很容易找到接口，获取json数据，这种爬取比较简单，只需按照规则调用接口即可获取目标数据。

这里仅介绍复杂一些的静态爬取方式。

目标网站分析

​ 以湖北省政府采购网为例，https://www.ccgp-hubei.gov.cn/，爬取湖北省招投标信息，将结果导出到excel。

通过分析，该网站找不到restfui的接口，全部是静态页面，使用jsp技术建设，jsp技术是直接在后端将数据写入页面模板，然后再返回前端的，所以不可能找到restful接口的。但是发现有一个招投标信息的检索站点，https://www.ccgp-hubei.gov.cn:9040/quSer/searchXmgg.html，这个站点和首页站点是存在跨域的，因为端口不一致。但是查询数据返回又是另外一个地址https://www.ccgp-hubei.gov.cn:9040/quSer/search，这个地址返回所有查询数据并分页显示，返回数据格式为html，且带了检索参数。

​ 使用apipost工具，模拟该接口请求，如下：

经过调试发现几点规律：

1 该接口使用POST协议，发送检索参数，并返回html数据

2 接口调用需要带cookie，且cookie有有效期限制（这一点很重要）

目标网页爬取

通过上一步分析得到的规律，开始使用urllib模拟浏览器调用

# 获取待解析网页
def get_html(key, page_no, page_size, begin_date, end_date):
    url = 'https://www.ccgp-hubei.gov.cn:9040/quSer/search'
    param = {
        "queryInfo.type": "xmgg",
        "queryInfo.city": "武汉市",
        "q