Python爬取boss直聘关于python招聘数据,高薪总是让人那么羡慕!

python爬取boss直聘数据(selenium+xpath) 不知道是boss反爬做的太好,还是我个人太菜(哭~)我个人倾向于第二种这个爬虫还有很多很多的不足之处,比如在页面加载的时候,boss的页面会多次加载(这里我很是不理解,我明明只访问了一次,但是他能加载好多次),这就导致是不是ip就会被封…再比如,那个下一页的点击按钮,一直点不了,不知有没有路过的大佬指点一二(呜呜呜~)# 下一页标签定位 ui-icon-arrow-right# # 点击指定的标签# # 释放动作链总之boss的信息爬取,我还是无法做到完全自动化😭。 阅读详情

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

开发工具

  • Python 3.6.5
  • Pycharm
import requests
import parsel
import csv
import time
1234

相关模块可用pip命令安装

网页数据分析


如图所示,这些数据都是今天要获取的内容

一、打开开发者工具


可以看网页给我们返回的数据,复制数据,到response里面搜索,看请求网页返回的数据当中是否有需要的数据。

import requests # pip install requests
url = 'https://www.zhipin.com/c100010000/?query=python&page=1&ka=page-1'
headers = {}  # headers 复制开发者工具当中的即可
response = requests.get(url=url, params=params, headers=headers)
print(response.text)
12345

二、分析网页数据结构

选择开发者工具中的 Elements 选择箭头 选择网页的数据,会自动跳转到网页标签中,告诉你这个数据是在网页标签里面的哪个位置。


如上图所示,每个企业招聘的数据都在 li 标签里面,我们只需要通过数据解析,提取所需要的数据即可。

import parsel # pip install parsel
response.encoding = response.apparent_encoding
selector = parsel.Selector(response.text)
lis = selector.css('#main .job-list ul li') # 获取所有li标签
'''
通过获取网页中所有li标签,然后循环遍历,再分别提取li标签中所需要的数据
'''
dit = {}
# 创建一个字典接受数据,方便后续保存数据
for li in lis:
    title = li.css('.job-name a::attr(title)').get()  # 标题
    dit['标题'] = title
    area = li.css('.job-area::text').get()  # 地区
    dit['地区'] = area
    xz_info = li.css('.red::text').get()    # 薪资
    dit['薪资'] = xz_info
    xl_list = li.css('.job-limit p::text').getall()     # 学历经验
    xl_str = '|'.join(xl_list)
    dit['学历经验'] = xl_str
    js_list = li.css('.tags span::text').getall()   # 技能要求
    js_str = '|'.join(js_list)
    dit['技能要求'] = js_str
    company = li.css('.company-text .name a::attr(title)').get()    # 公司名字
    dit['公司名字'] = company
    gz_info = li.css('.company-text p::text').getall()    # 工作类型
    gz_str = '|'.join(gz_info)
    dit['工作类型'] = gz_str
    fl_info = li.css('.info-desc::text').get()  # 福利
    dit['福利'] = fl_info
1234567891011121314151617181920212223242526272829

三、数据保存

import csv
# 创建文件
f = open('Boos直聘数据.csv', mode='a', encoding='utf-8-sig', newline='') 
# 表头信息
csv_writer = csv.DictWriter(f, fieldnames=['标题', '地区', '薪资', '学历经验', '技能要求', '公司名字', '工作类型', '福利']) 
# 写入表头
csv_writer.writeheader() 
'''
然后再把之前创建的接受数据的字典,保存即可
'''
csv_writer.writerow(dit) # 写到for循环内
1234567891011

四、多页爬取

'''
https://www.zhipin.com/c100010000/?query=python&page=1&ka=page-1
https://www.zhipin.com/c100010000/?query=python&page=2&ka=page-2
https://www.zhipin.com/c100010000/?query=python&page=3&ka=page-3
'''
12345

每一页的改变都是通过page参数的变化~·

for page in range(1, 10):
	url = 'https://www.zhipin.com/c100010000/?query=python&page={}&ka=page-{}'.format(page)
12

这样就可以实现翻页爬取的效果了!

实现效果

 


这就是文章以上所有内容了~

喜欢的话,可以点赞哈 O(∩_∩)O~~

有不懂的地方也可以私信我或者评论

 

爬虫项目实战2.1 Selenium爬取Boss招聘信息 But容易出现网络不稳定造成的无法定位元素所在位置的情况,小范围爬取可以。岗位名称、薪资、岗位要求、地区、公司名称、公司规模、细节链接。3.筛选base杭州的岗位保存到csv文件中。2.基于爬取结果筛选符合条件的信息。关于数据的分析,后面继续补充... 阅读详情

相关推荐

Python学习项目:用Python爬取boss招聘信息

爬取boss招聘信息

helbyYoung的博客 1296

利用python爬取招聘网站上的相关岗位信息

总的来说,这段代码通过模拟浏览器的方式访问Boss直聘网站,搜索关键词"大数据",然后将搜索结果中的数据岗位信息提取出来,并保存到CSV文件中。循环爬取页面数据,每次点击下一页按钮,等待页面加载,解析页面内容并保存到self.data_list中。定义了一个parse_html方法,用于解析页面内容并提取需要的数据,然后将数据保存到CSV文件中。定义了一个名为Boss的类,该类用于爬取数据岗位信息并保存到CSV文件中。在主程序中,先创建一个boss_data.csv文件,并写入表头。限制最多翻页10次。

m0_59360502的博客 4371

使用Python爬取Boss直聘的招聘数据并进行数据分析

Boss直聘是一款备受欢迎的招聘平台,提供了丰富的岗位信息。对于数据分析人员或技术爱好者而言,通过爬虫技术获取这些数据可以深化我们对市场需求的洞察。本次爬虫项目采用Python的Selenium库,通过模拟浏览器自动化操作来抓取Boss直聘上的招聘信息。随后,我们利用pandas、matplotlib和pyecharts等库对数据进行清洗、处理和可视化分析,最终生成一系列图表,从不同城市、公司规模、学历要求等多个维度对职位数据进行深入解读。

qq_63021160的博客 5321

通过python爬取boss直聘

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

m0_64844690的博客 1904

【2024最新】快速爬取Boss直聘职位信息

在如今竞争激烈的就业市场,了解最新的职位信息是成功找到理想工作的关键。而Boss直聘作为国内领先的招聘平台,拥有海量的职位信息。本教程将带您一步步学习如何使用爬虫技术,快速、高效地爬取Boss直聘上的职位信息。通过本教程,您将学会使用Python编写爬虫程序,快速爬取Boss直聘的职位信息。希望本教程能够帮助到您,顺利找到理想的工作!(注意:在进行任何爬取操作时,请遵守相关法律法规和网站的使用规定,避免对目标网站造成不必要的影响。本教程仅供学习和技术交流使用。

FLK_9090的博客 1万+

Python爬虫:爬取“Boss直聘”招聘数据

hello 大家好~ 又是元气满满的一天呢~ 既然元气满满,要不要搞点事情,譬如说,爬取“Boss直聘”(此处模仿歪果仁讲话更带感)的招聘数据~ 说走咱就走,说干咱就干~“Boss直聘”薅羊毛教程如下: #此处最后填写文章目录 一、分析网站 这是“Boss直聘”的首页: (这banner绿油油的,好似青青草原) (歪果仁小姐姐的歪果口音是不是还很熟悉~) 在搜索框内输入:hadoop,跳出页面如...

xiongbatian_2019的博客 1万+

爬虫练习(一)爬取Boss直聘的招聘信息

通过职位搜索"Python开发",看下搜索的结果 https://www.zhipin.com/job_detail/?query=python开发&city=101020100&industry=&position= 用F12查看下html的结构 先获取所有的class="job-primary"的div列表,然后遍历列表对象,在子查询里面的各个需要的信息...

凡心所向.AI 2万+

python分析BOSS直聘的某个招聘岗位数据

前言 很多人学习python,不知道从何学起。 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。 很多已经做案例的人,却不知道如何去学习更加高深的知识。 那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码! QQ群:1097524789 毕业找工作,在职人员换工作,离职人员找工作……不管什么人群,应聘求职,都需要先分析对应的招聘岗位,岗位需求是否和自己匹配,常见的招聘平台有:BOSS直聘、拉钩招聘、智联招聘等,我们通常的方法都是,打开招..

Python学习Q群696455390 7907

Python爬取boss直聘关于python招聘数据,高薪总是让人那么羡慕

前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资料以及群交流解答点击即可加入 开发工具 Python 3.6.5 Pycharm import requests import parsel import csv import time 相关模块可用pip命令安装 网页数据分析 如图所示,这些数据都是今天要获取的内容 一、打开开发者工具 可以看网页

人生苦短, 还不用Python? 2467

2024最新boss直聘岗位数据爬虫,并进行可视化分析

通过以上步骤,我们成功地使用DrissionPage实现了从BOSS直聘爬取岗位数据,并进行了基本的数据清洗和可视化分析。这为我们进一步的深入分析和研究提供了基础数据。希望本文能对读者有所帮助,并激发您在数据科学和爬虫技术方面的兴趣。以上对您有帮助的话麻烦三连哦~t=N7T8BOSS直聘https://www.zhipin.com/web/geek/job?

weixin_44765053的博客 4519

python爬取boss直聘招聘信息

这个时候,单击任意一个职位进去后,会发现请求的连接里面有一个职位id,与上一步的接口返回的数据里面保持一致。通过搜索功能,获取搜索的url,请求搜索URL后,获取对应公司的职位信息列表,再通过职位信息列表构造职位信息的完整URL,进而请求获取职位信息详情。上一步中,拿到了公司url后,使用浏览器请求后,能发现公司正在招聘的职位详情,包括职位名称,职位要求,技能描述等。所以通过上一步的接口数据的解析,获取到职位id后,再进行url的拼接,获取到完整的职位信息链接后,再使用。最后就是解析接口返回的数据。

m0_37769487的博客 2808

2024年最全Python爬取boss直聘关于python招聘数据,高薪总是让人那么羡慕

可以看网页给我们返回的数据,复制数据,到response里面搜索,看请求网页返回的数据当中是否有需要的数据。headers = {} # headers 复制开发者工具当中的即可二、分析网页数据结构选择开发者工具中的 Elements选择箭头 选择网页的数据,会自动跳转到网页标签中,告诉你这个数据是在网页标签里面的哪个位置。如上图所示,每个企业招聘的数据都在 li 标签里面,我们只需要通过数据解析,提取所需要的数据即可。

2401_84688516的博客 2573

Python分析BOSS直聘的某个招聘岗位数据!简单!

前言 毕业找工作,在职人员换工作,离职人员找工作……不管什么人群,应聘求职,都需要先分析对应的招聘岗位,岗位需求是否和自己匹配,常见的招聘平台有:BOSS直聘、拉钩招聘、智联招聘等,我们通常的方法都是,打开招聘网站,搜索职位关键字,然后一页一页的逐个查看,觉得还不错的岗位就投递一下简历,或者和招聘负责人聊一下,那么有没有办法,能一次性把相关的招聘岗位列出来,方便快速的分析,答案当然有的…… 我想做什么 最近我也在考虑新的工作机会,所以,为了方便才这么做的;下面给大家看个东西,打开后面的链接BOS...

爬遍所有网站 8605

Python基于大数据的Boss直聘招聘可视化系统,附源码

嗨喽,大家好,今天为大家带来的是基于大数据的Boss直聘招聘可视化系统,Python基于Django的Boss直聘招聘可视化项目,该项目使用 Django 框架,Mysql 数据库,request,selenium 框架进行爬虫,实现招聘数据的采集,清洗等,该项目总体来说还是挺不错的,界面美观,下面针对这个项目做具体介绍。基于Python Django 的Boss直聘招聘可视化分析系统(附源码)

程序员徐师兄的博客 5307

Python爬虫框架Scrapy实战 - 抓取BOSS直聘招聘信息

详情链接:http://www.jtahstu.com/blog/scrapy_zhipin_spider.html零、开发环境 MacBook Pro (13-inch, 2016, Two Thunderbolt 3 ports) CPU : 2 GHz Intel Core i5 RAM : 8 GB 1867 MHz LPDDR3 Python : Python 3.6.3 [GCC 4.2

jtahstu的专栏 5252

SGLang:结构化生成语言推理框架深度解读

SGLang是由斯坦福大学和加州大学伯克利分校联合提出的高性能大语言模型推理框架,针对复杂多轮对话、结构化输出等场景优化。其核心创新包括: RadixAttention机制:通过基数树数据结构实现跨请求的KV Cache自动复用,避免重复计算共享前缀 跳跃前瞻解码:对格式化输出中的固定模板部分直接填充,仅采样变量槽位,提升3-5倍生成速度 约束解码引擎:通过正则表达式和JSON Schema保证输出严格符合预定义格式 声明式DSL:提供类Python的编程接口简化复杂推理流程开发 相比传统框架,SGLang

Ricky Yang的专栏 333

爬虫实战---(4) 使用Selenium爬取Boss直聘招聘数据

本文使用Python的Selenium库从黑马程序员网站(Boss直聘)中爬取Python职位招聘信息

qq_51749909的博客 4595

Diebold-Mariano检验

给定两个预测的预测结果,我们希望比较他们的预测结果,以用于预测模型精度的比较。 Diebold-Mariano检验本质是一个t检验,用于检验替代预测的两个损失序列的平均值是否相等。即,它是一系列损失差的零均值的t检验。在存在自相关的情况下,它使用损失差分时间序列标准差的自相关一致性估计。 注意,在使用DM检验式时,假设损失序列是平稳的。 另外,DM检验在小样本数据时往往会拒绝零假设。对于小样本数据,推荐Harvey, Leybourne and Newbold (HLN)检验【1】; 参考文献 【1】htt

weixin_43948357的博客 6566
上一篇: Python抓包并解析json爬虫!这个是爬虫必会内容!
下一篇: 提取出 Word 文档里的图片 并利用 python 批量转换格式!
pythonlaodi
博客等级 码龄6年 286粉丝 244原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值