一、开发环境
OS:Windows 7 64bit旗舰版Python:2.7.10
Scrapy:1.0.3
MySQL:5.6.21
Sublime Text2:2.0.2
具体的开发环境配置这里就不介绍了,如需了解,欢迎与我交流。
二、目标
通过在前程无忧的职位搜索中输入职位关键词获取相应的职位信息,现在我们通过Scrapy爬虫来实现这个功能,自动帮我们获取相关的职位信息,并保存成.json格式和保存到MySQL数据库。
三、实现步骤
Scrapy是一个比较流行的Python爬虫框架,Scrapy爬虫的基本实现流程如下:
1.通过scrapy startproject spiderproject 来创建一个新的爬虫工程,spiderproject是我们自己命名的爬虫工程。比如本例子,我们创建一个工程scrapy startproject qcwy,qcwy即为我们的工程名。
&