python数据爬虫---拉钩网

1、拉勾网数据分析

一般思路

进入到拉勾网，输入相应的职位，搜索；查看源码，没有我们想要的数据，于是抓包发现：拉勾网采用Ajax技术，数据以格式存储===》
发送的请求：

Request URL:https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false
Request Method:POST
Status Code:200 OK
Remote Address:106.75.90.30:443
Referrer Policy:no-referrer-when-downgrade

发送post请求，post请求体：
first:true  （是否为第一页）
pn:1  （页数）
kd:python爬虫（输入的关键词）

新思路

拉勾网的爬虫实在太多了，其反爬机制经常变动，爬取难度逐渐增加。