1.前期准备
1.1 建立scrapy项目
通过执行scrapy startproject tengxun(该名是项目的名称),建立成功后出现以下图片:
1.2 spiders文件下建立Tencent.py
操作方式:scrapy genspider tencent tencent.com ,该建立成功后出现以下形式:
2.做好前面的工作后,现在在item.py,piplines.py,tencent.py等文件进行编写程序。
2.1 item.py文件中的代码:
class TengxunItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
position_name=scrapy.Field()
position_list=scrapy.Field()
positionType=scrapy.Field()
positionNumber=scrapy.Field()
pos