本篇内容将使用scrapy框架爬取淘车网所有二手车信息。
下面开始讲解下如何爬取我们想要的数据:
明确爬取目标:
首先,进入官网:https://www.taoche.com/
进入官网发现,我们要获取的数据量是很大的,不仅要拿到所以的城市链接和车型链接还要有详情页的链接。
我们点击查看全部:
要拿到A到Z的所有车型的url。
以及
这里所有城市的列表。
获取完之后,我们再通过每一个城市的每个车型的url,进入每页的每辆车的详情中去获取我们的数据。
开始任务
首先我们在某路径下创建我们的scrapy项目:
scrapy startproject taochewang
然后创建爬虫文件;
cd taochewang
scrapy genspier taoche taoche.com
为了充分体现scrapy框架的多线程能力,我提前构造了一个页面来解析首页中的所有城市和所有车辆信息。
下图可以先看下,是我的项目结构:
下面是城市信息和车型信息:
# 城市编码
CITY_CODE = ['shijiazhuang', 'tangshan', 'qinhuangdao', 'handan', 'xingtai', 'baoding', 'zhangjiakou',
'chengde', 'cangzhou', 'langfang', 'hengshui', 'taiyuan', 'datong', 'yangquan', 'changzhi', 'jincheng',
'shuozhou', 'jinzhong', 'yuncheng', 'xinzhou', 'linfen', 'lvliang', 'huhehaote', 'baotou', 'wuhai',
'chifeng', 'tongliao', 'eerduosi', 'hulunbeier', 'bayannaoer', 'wulanchabu', 'xinganmeng',
'xilinguolemeng', 'alashanmeng', 'changchun', 'jilin', 'hangzhou', 'ningbo', 'wenzhou', 'jiaxing',
'huzhou', 'shaoxing', 'jinhua', 'quzhou', 'zhoushan', 'tz', 'lishui', 'bozhou', 'chizhou', 'xuancheng',
'nanchang', 'jingdezhen', 'pingxiang', 'jiujiang', 'xinyu', 'yingtan', 'ganzhou', 'jian', 'yichun', 'jxfz',
'shangrao', 'xian', 'tongchuan', 'baoji', 'xianyang', 'weinan', 'yanan', 'hanzhong', 'yl', 'ankang',
'shangluo', 'lanzhou', 'jiayuguan', 'jinchang', 'baiyin', 'tianshui', 'wuwei', 'zhangye', 'pingliang',