通过Python爬取拉勾网的职位信息

看到一篇觉得还不错的博客，简单的试了一下：https://blog.youkuaiyun.com/d1240673769/article/details/75176451

 

拉勾网：https://www.lagou.com/

这是一家专为拥有3至10年工作经验的资深互联网从业者，提供工作机会的招聘网站。

本文主要通过Python爬取拉勾网的职位信息，取得的信息能够为今后对某个职业的进行进一步的数据分析。

那么我们这里主要用到了三个Python模块：

urllib.request
urllib.parse
json

在开始正式编写代码之前，首先要了解到搜索职位信息传递了些什么。

比如在搜索 ‘Fowee’ 时，这里其实是通过 post 方法去请求相应的数据，返回的结果存在 json 中

 

当然没有 'Fowee' 这个职位，那么这里的查询改成了 'Python' 

这里我我们在知道它沟通的数据之后，自然要模拟浏览器去请求数据

我们去模拟如下所示的请求头