网页爬虫之二手车价格爬虫

今天学习了爬虫技术

简单来说就是利用pyhon连续的访问网页，自动的将网页中我们用到的信息存储起来的过程。

需要我们的看懂简单的网页代码，能够写一些简单的python语句

下面我们举一个一个需要两步爬虫的例子：

第一步：获取车辆链接

我们想获取二手车辆的价格年份等信息 

车辆信息的展示是分页的

为了将所有分页的车辆信息都获取到，我们总结了不同分页网络链接的不同

第一页为www.某某某/24-1282-1-1

第二页为www.某某某/24-1282-1-2

我们可以看到唯一的不同是有1282-1-1变为-2了。

依照这样的规律我们可以写一个循环来实现对网页的切换

 for i in range (1,2,1):
        print("开始爬取第 %s 页" % page)
        url = 'https://www.某车帝.com/usedcar/x-x-x-x-x-x-x-x-x-x-x-x-x-x-x-x-x-x-x-24-1282-1-{}-x-x-x-x-x'.format(i)

但是通过如上的操作我们并不能看到车辆的当前价格，可能是由于这个网站就是怕我们进行爬虫故意设置的。

但是聪明的我们可以点进去这个链接进入车辆的具体信息中​​​​​​​

看到“新车指导价”和“比新车省”的价格做差可以得到当前价格，而这两个数据是可以在网页中获得的。