基于scrapy框架的关于58同城招聘网站信息的爬取

最新推荐文章于 2020-12-08 12:07:50 发布

代奇

最新推荐文章于 2020-12-08 12:07:50 发布

阅读量3.7k

点赞数 4

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签：大数据 python 爬虫 scrapy 信息爬取

本文链接：https://blog.youkuaiyun.com/DickyQQ/article/details/51852576

本文介绍了如何利用Python的scrapy框架进行58同城招聘网站的数据爬取。首先，环境搭建完成后，深入理解scrapy的结构和运行机制。接着，通过创建项目并在items类中定义要抓取的数据结构。这是一个学习scrapy基础和实践信息爬取的教程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

起因： 学校项目实训，要求我们爬取招聘网站信息并对其进行分析，在此我和大家分享一下关于我爬取58同城招聘网站信息的过程和结果~
前期准备步骤：
1.搭建环境：首先把scrapy需要的环境搭建好，再次我就不赘述了，这个去百度，有很多的教程，可能有些不够全面不够准确，反正多看看，先把环境搭建好，我是在windows7下进行的安装。

2.环境搭建好后，学习scrapy框架的结构以及运行流程，具体网上也有很多介绍，我也不赘述了，提一点百度百科的解释，scrapy:Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。