利用python,selenium爬取51.job岗位信息、公司名和薪资,存储在txt文件中。
1.使用selenium调用浏览器驱动访问51.job,在这里使用的是火狐浏览器。
browser = webdriver.Firefox()
browser.get('https://we.51job.com/pc/search')
2.输入要查询的岗位名称,点击搜索,显示所有js 。在51.job网页中利用F12查看网页源代码。
在搜索处右键选择检查,可以查看到当前位置对应的id名称,我们可以根据id来选择元素。在这里以测试工程师为例,在搜索框输入完毕后,点击搜索按钮,也是通过id的方式来找到搜索键。
#根据id选择元素,返回的就是该元素对应的webelement对象
element = browser.find_element(By.ID,'keywordInput')
#通过该webelement对象,就可以对页面元素进行操作了
#比如输入岗位名称(测试工程师)到输入框中
element.send_keys('测试工程师')
element = browser.find_element(By.ID,'search_btn')
element.click()
3.解析js源代码。