爬虫爬取BOSS直聘（selenium+Chromedriver）

今天介绍借助selenium+chromdriver工具进行爬取招聘信息，并保持到csv文件中，以招聘python岗位为关键字。

爬取思路可分为以下几个步骤：

1. 爬取第一页页面中所有职位的链接：每个职位有个id。

   

2. 然后根据获取的每个职位的链接，获取该职位的详细信息。

   

3. 右键——检查，根据html,选取元素。见代码。
4. 第一页职位信息爬取完成后，让浏览器跳转到第二页，继续爬取每一个职位的详细信息，以此类推，直到最后一页。
5. 爬取结果如下：

   

    

6. 完整代码如下：

   # project:  seleniumChromedriver
   # author:  liulei   
   # time:  2019/8/8 11:29   
   # file:  bossSpider.py
   import random
   import time
   from lx