使用selenium爬取拉勾数据，并存入excel表格中。

最新推荐文章于 2023-04-04 17:28:59 发布

海爷爷

最新推荐文章于 2023-04-04 17:28:59 发布

阅读量1.5k

点赞数 2

分类专栏： python

本文链接：https://blog.youkuaiyun.com/zh54b5n64vn64654/article/details/86584405

版权

本文介绍了如何使用selenium爬虫抓取拉勾网的职位数据，当达到30页时自动停止。数据首先被存储到MongoDB数据库，然后进一步处理并导出到Excel表格中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码如下

from selenium import webdriver
from bs4 import BeautifulSoup
import time
import pymongo

client = pymongo.MongoClient('localhost',27017)
ceshi = client['ceshi']
lagou_python = ceshi['lagou_web']

url = 'https://www.lagou.com/'
def lagou(city,job):
    driver = webdriver.Chrome()
    driver.get(url)
    time.sleep(1)
    driver.find_element_by_id("cboxClose").click()
    time.sleep(1)
    driver.find_element_by_id("search_input").send_keys(city)
    driver.find_element_by_id("search_button").click()
    driver.find_element_by_id("keyword").send_keys(job)
    driver.find_element_by_id("submit").click()
    time.sleep(1)
    t = 1
    while True:
        print('抓取第{}页数据'.format(str(t)))
        html = driver.page_source
        soup = BeautifulSoup(html, 'lxml')
        work_list = soup.select('li.con_li