python Selenium爬取数据代码学习冲！！！

JM1307hhh

已于 2023-03-15 15:19:46 修改

阅读量446

点赞数 2

CC 4.0 BY-SA版权

分类专栏：技术学习文章标签： python selenium 自动化 csv

于 2023-03-04 21:48:30 首次发布

本文为博主原创文章，未经博主允许禁止转载。转载请注明出处，否则保留追究法律责任的权力。

本文链接：https://blog.youkuaiyun.com/JM1307hhh/article/details/129339767

该代码示例展示了如何使用Selenium库在Python中编写一个爬虫，抓取51job网站上的职位信息，包括职位名称、薪资、地点、企业信息等，并将数据保存到CSV文件。爬虫涉及页面切换，选择目标城市，以及处理分页和点击职位详情。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

说明：

本文仅用于selenium相关语法的学习，如有任何问题，欢迎大家批评指正~~

crawl数据保存到csv文件：

这个是不含job详细信息的【即爬取过程中不涉及页面切换】
这个是包含job详细信息的【代码比上边稍微复杂一点，涉及到页面切换】

代码实现【含页面切换】：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time
import pandas as pd
from selenium.webdriver.common.keys import Keys


class QCWY:

    def __init__(self, keyword, city, maxpagenum):  #构造函数
        self.keyword = keyword
        self.city = city
        self.maxpagenum = maxpagenum

    def run(self): #执行爬虫任务的函数

        options = webdriver.ChromeOptions()
        options.add_argument("--disable-blink-features=AutomationControlled")

        driver = webdriver.Chrome(service=Service(r'E:\Chrome Download\chromedriver_win32\chromedriver.exe'), options=options)

        driver.implicitly_wait(10)

        driver.get("https://www.51job.com/")

        #输入关键字
        driver.find_element(By.ID, "kwdselectid").send_keys(self.keyword)
        #点击选择城市
        driver.find_element