Scrapy 爬虫 个人学习经验

安装Scrapy

安装环境 ： python2.7， Ubuntu16.04

 pip install Scrapy

使用Scrapy

创建工程

scrapy startproject programname

scrapy 会创建一个sipders文件里面用于放置爬虫文件

item 用于创建数据类

piplines用于处理数据

middlewares 中间器 可以在爬虫重写其中的方法

settings 用于爬虫的配置

编写爬虫

建立一个scrapy.Spider的子类为爬虫类

name 为 爬虫名字，用scrapy crawl name启动爬虫 一定要写

allowed_dimains 为爬取网址的部分

start_urls 开始爬取的url

    rules = （
            #自动从response中根据正则表达式提取url，再根据这个url再次发起请求，并用callback解析返回的结果       
    Rule(LinkExtractor(allow=(r'https://movie.douban.com/subject/\d+/')), callback="parse_item"),
          #Rule(LinkExtractor(allow=(r'https://movie.douban.com/tag/\[wW]+'))), # 从网页中提取http链接
         )

Rule类的参数：link_extractor、callback=None、cb_kwargs=None、follow=None、process_links=None、process_request=None
allow：满足括号中“正则表达式”的值会被提取，如果为空，则全部匹配。
deny：与这个正则表达式(或正则表达式列表)不匹配的URL一定不提取。
allow_domains：会被提取的链接的domains。
deny_domains：一定不会被提取链接的domains。
restrict_xpaths：使用xpath表达式，和allow共同作用过滤链接。还有一个类似的restrict_css

定义 start_requests 用来请求start_urls中的url

def start_requests(self):
        for url in self.start_urls:
            yield Request(url,headers= self.header,callback=self.parse )

编写parse来处理start_requests 返回的请求,爬取所需的信息

数据保存与处理

在items文件中建立scrapy.Item的子类

启用piplines处理数据，在settings文件中写入

ITEM_PIPELINES = {
    'projectname.pipelines.pipelinesclassname':300,
}

在pipelines 文件里重写 open_spider（执行spider时，运行一次）

def open_spider(self,spider):
        client = pymongo.MongoClient('localhost',27017)
        database = client['databasesname']
        self.collection = database['collectionname']

这里是用MongoDB，所以open_spider建立与MongoDB的连接

def process_item(self, item, spider):
        data = {
            'Id': item['Id'],
        }
        self.collection.insert(data)
        return item

将item数据写入数据库

数据去重

for id in collection.distinct('Id'):
    num = collection.count({'Id': id})
    for i in range(1,num):
        collection.remove({'Id':id},0)

通过distinct，将相同属性的合并，统计数据，若大于1，则有重复数据，删除多余数据

scrapy使用代理

打开middlewares.py
在middlewares.py中增加一个类，取名：ProxyMiddleware即代理中间件

class ProxyMiddleware(object):

    proxyList = []

    def process_request(self, request, spider):
        pro_ip = random.choice(self.proxyList)
        print "use proxyip "+ pro_ip
        request.meta['proxy'] = "http://"+ pro_ip


DOWNLOADER_MIDDLEWARES = {
    'projectname.middlewares.ProxyMiddleware': 100,
    'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 110
}

或者在重写的star_requests

def start_requests(self):
        for url in self.start_urls:
            yield Request(url,headers= self.header,callback=self.parse,meta = {'proxy':proxyip})

---

PS:参考了很多博客，就不一一列举了