练习-前程无忧数据爬取

最新推荐文章于 2025-02-08 22:12:55 发布

原创最新推荐文章于 2025-02-08 22:12:55 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

本文详细介绍如何使用爬虫技术抓取51job网站上Python岗位的招聘信息，包括从构建URL到解析页面内容的过程，并探讨如何将获取的数据存储于本地文件，同时实现基于地点的搜索功能，无需重复爬取。

目标

只爬取python的搜索结果

第一页

https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare=

第二页

https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,2.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare=

第三页

https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,3.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare=

第六百页

https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,600.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare=

总页码数 733 在response中

            <span class="td">共733页，到第</span><input id="jump_page" class="mytxt" type="text" value="1"/><span class="td">页</span><span class="og_but" onclick="jumpPage('733');">确定</span>

在这里插入图片描述

如果要爬java招聘信息

第一页
```cpp
https://search.51job.com/list/000000,000000,0000,00,9,99,java,2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare=

第二页

https://search.51job.com/list/000000,000000,0000,00,9,99,java,2,2.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare=




## 需 求

第一版
- 完成python岗位的数据抓取 
- 数据存到文件中
- 可以搜索文件， 按照地点搜索  ，简单的搜索功 能（ 搜索的时 候不要再次爬取了）


第二版
-自 定 义搜索岗位， 可以 搜索java  可以搜搜php等岗位