爬取猎聘网招聘信息

最新推荐文章于 2024-05-14 02:41:46 发布

英雄＆萌萌

最新推荐文章于 2024-05-14 02:41:46 发布

阅读量1k

点赞数

文章标签：爬虫

本文链接：https://blog.youkuaiyun.com/weixin_43323333/article/details/90170941

版权

该博客介绍了如何爬取猎聘网的招聘信息，涉及获取六大分类职位网址，进一步抓取每个职位详情，并将数据存储到MongoDB。如果读者不具备MongoDB环境，博主提供了将数据保存为CSV文件的替代方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

进入猎聘网首页获取六个大分类网址
进入六个分类获取每个职位网址
进入每个职位招聘信息网站获取第一个招聘信息（如果需要所有的话或者前几个需要修改一下正则表达式）
代码是存入mongodb
若不会配置或者没有mongodb
就不用那个函数
改为我注释的那好几行存为csv文件

import requests 
import re
import time
import csv
import pymongo
from requests.exceptions import RequestException  
from lxml import etree
def pipei(url):#获取信息
    html=gethtml(url)
    pattern=re.compile('<ul class="sojob-list">.*?li>.*?<div class="sojob-item-main clearfix.*?div class="job-info".*?h3 title="(.*?)">.*?class="text-warning">(.*?)</span>.*?area.*?>(.*?)</.*?span class="edu">(.*?)</span>.*?an>(.*?)</span>.*?<div class="company-info nohover">.*?class="company-name">.*?a.*?>(.*?)</a>.*?<p class="field-financing">.*?an.*?a class="industry-link" href=.*?>(.*?)</a>&#

最低0.47元/天解锁文章