周攀的博客

requests爬取拉钩网首先还是老样子，打开拉勾网的网址，先进行一波分析查看网页源代码搜索，第一个职位名称大数据开发工程师，发现不在源码里这时我们就要利用开发者工具在找接口找到接口发现数据都存在该接口里，且发现请求为post请求，请求所需要data也找到了，大概可以猜测pn就是这个职位的页数，所以我们的翻页操作就可以靠改变pn的值来实现，kd就是我们搜索的职位，我们可以通过改变它的值从而达到搜索其他职位信息的操作。明确目标之后我们就可以来写代码了：完整代码如下：import requ