Python爬取网站职位信息

爬取51job招聘信息

最新推荐文章于 2024-01-12 23:25:49 发布

原创最新推荐文章于 2024-01-12 23:25:49 发布 · 605 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

python 专栏收录该内容

0 篇文章

订阅专栏

本文介绍了一种使用Python的requests库和BeautifulSoup库来爬取51job网站上关于大数据工作岗位信息的方法，包括职位名称、公司名称、工作地点、薪资及发布时间。

# -*- coding = utf-8 -*-
import requests
from bs4 import  BeautifulSoup as bs
"""
爬取51job里面的工作岗位，公司名称，工作地点，薪资，发布时间
"""
url = "http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=020000&keyword=%E5%A4%A7%E6%95%B0%E6%8D%AE&keywordtype=2&lang=c&stype=2&postchannel=0000&fromType=1&confirmdate=9"
#requests获取url
html = requests.get(url)
html.encoding='gbk'
#解析url内容，只有通过bs解析后我们才能访问到html的标签
soup = bs(html.text,"html.parser")
#我们爬取的内容在class等于el里面，且去掉下标为0的，下标为0不是我们要的，所以从下标为1开始
els = soup.select(".dw_table .el")[1:]
for el in els:
    Position = el.select_one(".t1 span a").text.replace(" ","")
    Company = el.select_one(".t2").text
    Address = el.select_one(".t3").text
    Salary = el.select_one(".t4").text
    Pub_time= el.select_one(".t5").text
    print(Position + "|" + Company + "|" + Address + "|" + Salary + "|" + Pub_time)