scrapy入门学习笔记之爬取豆瓣9分榜单

写在开头

第一次接触scrapy，想找个简单的页面尝试下，后来在网上找到了这篇文http://blog.youkuaiyun.com/hk2291976/article/details/51227354

，感觉挺适合入门的。本人的开发环境是win10 64bit +python3.5.2 64bit，在学习的时候遇到了很多问题，所以才想起来写成文章，加深一下记忆。

 首先，在安装scrapy框架的时候就遇到了很多坑。

直接用pip install scrapy

发现一直报错。。

后来百度,google了半天，发现少了以下依赖库，这里只列出文件名:

lxml-3.6.4-cp35-cp35m-win_amd64.whl

Twisted-16.5.0-cp35-cp35m-win_amd64.whl

incremental-16.10.1-py2.py3-none-any.whl

我这里大概安装了这三个

安装好以后就可以按装scrapy了:

pip install scrapy -i https://pypi.douban.com/simple

安装好以后会自动添加环境变量，下面就可以开始学习怎么使用了。

建立第一个scrapy工程

scrapy startproject doubanbook

然后你的目录下就有一个文件夹名为doubanbook目录，按照提示，我们cd进目录，然后按提示输入，这里我们爬虫取名为dbbook，网址就是上面的网址

打开pycharm，新建打开这个文件夹

打开后，我们在最顶层的目录上新建一个python文件，取名为main，这是运行的主程序（其实就一行代码，运行爬虫）

输入

from scrapy import cmdline
cmdline.execute("scrapy crawl dbbook".split())
 
 
1
2
 
 

  
  
 
 

如图

然后我们进入spider-dbbook，然后把start_urls里面重复的部分删除（这里的会在输入的https前面又加上http://，把这部分要删除）然后把allowed_domains注掉 
并且，把parse里面改成

class DbbookSpider(scrapy.Spider):
    name = "dbbook"
    #allowed_domains = ["https://www.douban.com/doulist/1264675/"]
    start_urls = ['https://www.douban.com/doulist/1264675/']

    def parse(self, response):
        print(response.body.decode())  //这里要用decode解码一下，不然看到的都是utf-8编码，教程里没有这么做

好了，到此第一个爬虫的框架就搭完了，我们运行一下代码。（注意这里选择main.py）

然后在settings.py里加入如下内容就可以模拟浏览器了，这里一定要加上，不然没有输出内容

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0'

我们再运行，发现网页内容已经被爬取下来了 

编写xpath提取标题名和作者名

这里我们就要得分，标题名和作者名 
观察网页源代码，用f12，我们可以快速找到，这部分可以略过，可以借助工具生成

提取书大框架：

'//div[@class="bd doulist-subject"]'

提取题目：

    'div[@class="title"]/a/text()'

提取得分：

'div[@class="rating"]/span[@class="rating_nums"]/text()'

提取作者：（这里用正则方便点）

'<div class="abstract">(.*?)<br'

编写代码

def parse(self, response):
    #print(response.body.decode())
    item = DoubanbookItem()
    selector = response.selector
    books =  selector.xpath('//div[@class="bd doulist-subject"]')
    for each in books:
        title = each.xpath('div[@class="title"]/a/text()').extract()[0]
        rate = each.xpath('div[@class="rating"]/span[@class="rating_nums"]/text()').extract()[0]
        author = re.search('<div class="abstract">(.*?)<br', each.extract(), re.S).group(1)
        print('标题:' + title)
        print('评分:' + rate)
        print(author)
        print('')

关键这个代码在哪里编写呢？答案就是还记得大明湖……不对，是还记得刚才输出response的位置吗？就是那里，那里就是我们要对数据处理的地方。我们写好代码，这里注意：

1. xpath如果要提取内容，需要在后面加上.extract()

我们看看结果，不好看，对于注重美观的我们来说，简直不能忍

我们修改一下代码去掉多余的空格和换行

print('标题:' + title.strip())
print('评分:' + rate)
print(author.strip())
print('')

结果就是我们想要的了

结果可以放入数据库和文件里，这次学的是放在文件里怎么操作

items.py

好了，我们终于要讲里面别的.py文件了，关于这个items.py，你只要考虑它就是一个存储数据的容器，可以考虑成一个结构体，你所有需要提取的信息都在这里面存着。

这里我们需要存储3个变量，title，rate，author，所以我在里面加入三个变量，就这么简单：

class DoubanbookItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    rate = scrapy.Field()
    author = scrapy.Field()
    pass

这里挺简单的，哈哈

pipelines.py

一般来说，如果你要操作数据库什么的，需要在这里处理items，这里有个process_item的函数，你可以把items写入数据库，但是今天我们用不到数据库，scrapy自带了一个很好的功能就是Feed exports，它支持多种格式的自动输出。所以我们直接用这个就好了，pipelines维持不变

settings.py

Feed 输出需要2个环境变量：

FEED_FORMAT ：指示输出格式，csv/xml/json/ 
FEED_URI : 指示输出位置，可以是本地，也可以是FTP服务器

FEED_URI = u'file:///D://douban.csv'
FEED_FORMAT = 'CSV'

然后对 dbbook.py修改

其实也就加了3条命令，是把数据写入item 

def parse(self, response):
    print(response.body.decode())
    return


    item = DoubanbookItem()
    selector = response.selector
    books =  selector.xpath('//div[@class="bd doulist-subject"]')
    print('*'*10)
    for each in books:
        title = each.xpath('div[@class="title"]/a/text()').extract()[0]
        rate = each.xpath('div[@class="rating"]/span[@class="rating_nums"]/text()').extract()[0]
        author = re.search('<div class="abstract">(.*?)<br', each.extract(), re.S).group(1)
        #print('标题:' + title.strip())
        #print('评分:' + rate)
        #print(author.strip())
        #print('')
        item['title'] = title.strip()
        item['rate'] = rate
        item['author'] = author.strip()

因为只有这里会出现标签，所以用xpath轻松提取

'//span[@class="next"]/link/@href'

def parse(self, response):
    print(response.body.decode())
    return


    item = DoubanbookItem()
    selector = response.selector
    books =  selector.xpath('//div[@class="bd doulist-subject"]')
    print('*'*10)
    for each in books:
        title = each.xpath('div[@class="title"]/a/text()').extract()[0]
        rate = each.xpath('div[@class="rating"]/span[@class="rating_nums"]/text()').extract()[0]
        author = re.search('<div class="abstract">(.*?)<br', each.extract(), re.S).group(1)
        #print('标题:' + title.strip())
        #print('评分:' + rate)
        #print(author.strip())
        #print('')
        item['title'] = title.strip()
        item['rate'] = rate
        item['author'] = author.strip()
        yield item

当然，你要使用item，需要把item类引入

from doubanbook.items import DoubanbookItem
 
 
1

下面的yield可以让scrapy自动去处理item

好拉，再运行一下，可以看见D盘出现了一个douban.csv的文件

打开看一下

恰好是我们想要的结果

下面就是分页处理了

爬取剩下页面

这还只保存了一个页面，那剩下的页面怎么办呢？难道要一个个复制网址？？当然不是，我们重新观察网页，可以发现有个后页的链接，里面包含着后一页的网页链接，我们把它提取出来就行了。 

因为只有这里会出现标签，所以用xpath轻松提取

'//span[@class="next"]/link/@href'

然后提取后 我们scrapy的爬虫怎么处理呢？ 
答案还是yield，

yield scrapy.http.Request(url,callback=self.parse)   
   
   
1
   
   

    
    
   
   

这样爬虫就会自动执行url的命令了，处理方式还是使用我们的parse函数

改后代码如下：

def parse(self, response):
    print(response.body.decode())
    return


    item = DoubanbookItem()
    selector = response.selector
    books =  selector.xpath('//div[@class="bd doulist-subject"]')
    print('*'*10)
    for each in books:
        title = each.xpath('div[@class="title"]/a/text()').extract()[0]
        rate = each.xpath('div[@class="rating"]/span[@class="rating_nums"]/text()').extract()[0]
        author = re.search('<div class="abstract">(.*?)<br', each.extract(), re.S).group(1)
        #print('标题:' + title.strip())
        #print('评分:' + rate)
        #print(author.strip())
        #print('')
        item['title'] = title.strip()
        item['rate'] = rate
        item['author'] = author.strip()
        yield item
        nextPage = selector.xpath('//span[@class="next"]/link/@href').extract()
        if nextPage:
            next = nextPage[0]
            print(next)
            yield scrapy.http.Request(next, callback=self.parse)

这里要加一个判断，因为在最后一页，“后一页”的链接就没了。 

好了，我们再运行一下（先把之前的csv删除，不然就直接在后面添加了）可以发现，运行的特别快，十几页一下就运行完了，如果你用requests自己编写的代码，可以比较一下，用scrapy快很多，而且是自动化程度高很多。

我们打开csv，可以看见，有345篇文章了，和豆瓣上一致。 

大功告成，原作说学会了这个例子，编写一般的爬虫就so easy了。但愿如此把，其实很多东西看起都很简单，深入了发现有很多要学的东西，慢慢积累经验，希望能把python越学越好。