python 爬虫如何通过selenium简单爬取boss直聘招聘职位信息

最新推荐文章于 2025-06-16 17:46:02 发布

FlenceXu

最新推荐文章于 2025-06-16 17:46:02 发布

阅读量1.4k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： 1011

本文链接：https://blog.youkuaiyun.com/qq_40243365/article/details/83017868

本文介绍了如何利用Python的selenium库来爬取Boss直聘网站上的招聘信息，详细讲解了爬取过程和关键代码，帮助读者掌握动态网页的爬取技巧。

代码如下：

from selenium import webdriver
import time
from openpyxl import Workbook

#创建存储爬取信息的空列表
jobList = []
workList = []
hrefList = []

#爬取职位信息的方法
def Parse():
	#打开火狐浏览器
    browser = webdriver.Firefox()
    url = 'https://www.zhipin.com/'
    browser.get(url)
    #最大化窗口
    browser.maximize_window()
    time.sleep(2)
    #打开网页在输入框输入想要查找的职位，这里以AI大数据师为例
    input = browser.find_element_by_class_name('search-form-con').find_element_by_class_name('ipt-search')

    input.send_keys('AI大数据师')
    time.sleep(2)
    #点击进入职位页面
    browser.find_element_by_class_name('search-form ').find_element_by_tag_name('button').click()
    #页面切换
    browser.switch_to_window(browser.window_handles[0])
    job_list = browser.find_element_by_class_name('job-list').find_elements_by_tag_name('li')

    for each in job_list:
    	#获取职位名称
        jobName = each.find_element_by_class_name('job-title').text
        #获取公司名称
        company = each.find_element_by_class_name('company-text').find_ele