scrapy初次使用教程

安装

pip install scrapy

创建

1. 项目创建

    scrapy start project projectname
   

2. 定义Item

    在items.py中创建item类，继承自scrapy.Item
    使用scrapy.Field()方法定义item类中的title、link、desc属性
   

3. 在spiders包中新建dmoz_spider.py文件

   创建一个Spider类，继承 scrapy.Spider 类

   定义name属性

    用于区别Spider，需要是唯一值
   

   定义start_requests()方法或start_urls属性

    方法中定义urls属性，包含Spider在启动时进行爬取的url列表
    start_urls = [
   'http://quotes.toscrape.com/page/1/',
   ]
   

   定义parse()方法，需要传入参数response

    一个将被调用以处理为每个请求下载的响应的方法
    将response对象中的响应体存储在本地：
    	文件名：在response的urls中根据/切割，取倒数第二位和html拼接起来 作为文件名
    	文件内容：在response的body中；使用wb的方式打开生成的文件名，将response.body写入文件中
    使用selector选择器来定位元素
    	xpath定位
    	css定位
   

使用

使用命令调用创建的Spider类

scrapy crawl dmoz

这里的dmoz就是创建的Spider类中的name属性

Selector选择器

在shell中查看选择器：

进入shell;

scrapy shell 'url'

进入shell中后，会拥有一个包含response数据的本地 response 变量。可以通过response.headers查看响应的头，response.body查看响应体

使用response.css(‘title’)或response.xpath(’//title’)可以获得一个名为selectorlist的类似列表的对象，并允许运行进一步的查询以细化选择或提取数据

使用xpath进行查询的规范：

	/：绝对路径
	//：相对路径
	//img：所有的img标签
	//img/@href：所有包含href属性的img标签
	//input[@autocomplete='off'] ： 选择所有带autocomplete属性，且值为off的input标签

使用css进行查询的规范：

.intro	选择 class=“intro” 的所有元素。
#firstname	选择 id=“firstname” 的所有元素。
*	选择所有元素。
p	选择所有<p> 元素。
div,p	选择所有 <div> 元素和所有 <p> 元素。
div p	选择 <div> 元素内部的所有 <p> 元素。
div>p	选择父元素为 <div> 元素的所有 <p> 元素。
div+p	选择紧接在 <div> 元素之后的所有 <p> 元素。
[target]	选择带有 target 属性所有元素。
[target=_blank]	选择 target="_blank" 的所有元素。
[title~=flower]	选择 title 属性包含单词 “flower” 的所有元素。
[lang=en]	选择 lang 属性值以 “en” 开头的所有元素。
a:link	选择所有未被访问的链接。
a:visited	选择所有已被访问的链接。
a:active	选择活动链接。
a:hover	选择鼠标指针位于其上的链接。
input:focus	选择获得焦点的 input 元素。
p:first-letter	选择每个 <p> 元素的首字母。
p:first-line	选择每个 <p> 元素的首行。
p:first-child	选择属于父元素的第一个子元素的每个 <p> 元素。
p:before	在每个 <p> 元素的内容之前插入内容。
p:after	在每个 <p> 元素的内容之后插入内容。
p:lang(it)	选择带有以 “it” 开头的 lang 属性值的每个 <p> 元素。
p~ul	选择前面有 <p> 元素的每个 <ul> 元素。
a[src^=“https”]	选择其 src 属性值以 “https” 开头的每个 <a> 元素。
a[src$=".pdf"]	选择其 src 属性以 “.pdf” 结尾的所有 <a> 元素。
a[src*=“abc”]	选择其 src 属性中包含 “abc” 子串的每个 <a> 元素。
p:first-of-type	选择属于其父元素的首个 <p> 元素的每个 <p> 元素。
p:last-of-type	选择属于其父元素的最后 <p> 元素的每个 <p> 元素。
p:only-of-type	选择属于其父元素唯一的 <p> 元素的每个 <p> 元素。
p:only-child	选择属于其父元素的唯一子元素的每个 <p> 元素。
p:nth-child(2)	选择属于其父元素的第二个子元素的每个 <p> 元素。
p:nth-last-child(2)	同上，从最后一个子元素开始计数。
p:nth-of-type(2)	选择属于其父元素第二个 <p> 元素的每个 <p> 元素。
p:nth-last-of-type(2)	同上，但是从最后一个子元素开始计数。
p:last-child	选择属于其父元素最后一个子元素每个 <p> 元素。
:root	选择文档的根元素。
p:empty	选择没有子元素的每个 <p> 元素（包括文本节点）。
et #news:target	选择当前活动的 #news 元素。
input:enabled	选择每个启用的 <input> 元素。
input:disabled	选择每个禁用的 <input> 元素
input:checked	选择每个被选中的<input> 元素。
:not§	选择非 <p> 元素的每个元素。
::selection	选择被用户选取的元素部分。

使用selectorlist对象调用方法获取结果：

get()
	当知道只想要一种结果时，可以使用。可以避免在出现IndexError，在找不到与选择匹配的任何元素时返回None
getall()
	返回结果是一个列表：可能获取到的是多个结果
re()
	根据正则表达式来获取结果

数据提取

数据获取
	在parse()函数中使用yield关键字：
		yield后面接字典，字典中的key为自定义内容名字，value使用selectorlist提取数据
			    def parse(self, response):
    for quote in response.css('div.quote'):
        yield {
            'text': quote.css('span.text::text').get(),
            'author': quote.css('small.author::text').get(),
            'tags': quote.css('div.tags a.tag::text').getall(),
        }
存储抓取的数据
	使用feed输出
		scrapy crawl spider.name -O quotes.json
			-O
				覆盖源文件
			-o
				在源文件末尾添加
					可能会是源文件内容无效
		scrapy crawl quotes -o quotes.jl
			生成jsonline格式文件
		将所有获取到的数据以json格式序列化存储在quotes.json文件中

爬取数据后，根据页面信息获取url继续爬取下一个页面

scrapy.Request(url, callback)

	yield response.follow(next_page, callback=self.parse)
	
	下一页的url可以通过css或xpath定位，获取到路径后，和原url使用urljoin拼接
	next_page = response.css('li.next a::attr(href)').get()
	next_page = response.urljoin(next_page)

创建请求对象的快捷方式 ：
response.follow()

	next_page = response.css('li.next a::attr(href)').get()
	直接支持相对URL——不需要调用urljoin
	对html中的a标签，follow可以自动使用它的href属性
		for a in response.css('ul.pager a'):
			yield response.follow(a, callback=self.parse)
		直接定位到ul标签里的a标签，获取包括a标签包含标签在内的所有属性

从可迭代对象创建多个请求：
response.follow_all()

	使用css定位到class等于pager的ul标签下的所有a标签
	anchors = response.css('ul.pager a')
	yield from response.follow_all(anchors, callback=self.parse)
	yield from response.follow_all(css='ul.pager a', callback=self.parse)

向spider类中的函数传递参数，格式为key=value

使用参数-a
	scrapy crawl quotes -O quotes-humor.json -a tag=humor
	通过getattr()获取传递的tag参数，然后判断tag参数是否存在，存在则在url后拼接，通过传参实现对url的变更