Jerry_Chang31的博客

文章目录前言一、页面分析二、下载浏览器驱动三、详细代码四、selenium爬取BOSS直聘代码前言拉勾网的反爬虫做的很好，导致我们使用requests库进行爬取的时候，经常会被发爬虫，包括或返回空数据。同时，这个网站采用Ajax技术进行异步加载，我们在请求列表网页时，并不会获取到职位列表的相关信息，因此，使用selenium+geckodriver的方式，模拟Firefox浏览器完美爬取拉勾网...

最近闲来无事，使用python的requests库和xpath库爬取了猎聘网的招聘信息。因为只是为了练习，并没有限定职位、地域等信息。一、页面分析1.职位列表页面分析点击进入猎聘网页面如下图所示：上面是职位筛选条件，下面是相应页码点击不同的页码，查看其URL：第一页URL：https://www.liepin.com/zhaopin/?init=-1&headckid=35...