scrapy + selenium + phantom框架流程

scrapy+selenium+phantomjs

 在实际应用中发现splash的解析功能可能并没有那么方便,为了方便自动化的管理选自使用selenium即可。

phantomjs

 PhantomJS是一个基于Webkit的”无界面”(headless)浏览器,它会把网站加载到内存并执行页面上的JavaScript,因为不会展示图形界面,所以运行起来比完整的浏览器更高效。
 由于PhantomJS是一个浏览器,所以我们选择到其官网上去下载http://phantomjs.org/ ,而后将phantomjs/lib目录下的phantomjs.exe文件放到python的安装目录下(如本人的目录为:D:\ANACONDA\envs\my_env3_5)即可完成安装配置。

selenium

 是一个用于Web应用程序测试的工具,Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。我直接在conda中输入如下内容安装:

conda install selenium

 在安装完成后使用下列代码可以测试一下有没有安装成功,不过需要注意的是,新版的selenium已经不支持phantomJS了,所以可能会报错。可以安装低版本的selenium解决,或者是使用chrome headless。我这里使用重新安装低版本selenium的方法。

#更改版本
conda uninstall selenium
pip install selenium==2.48.0
#安装测试
from selenium import webdriver

driver = webdriver.PhantomJS()    # 获取浏览器对象
driver.get('http://www.baidu.com/')
print(driver.page_source)
结合scrapy

 那么在安装完成后就可以和scrapy的框架联系起来了,这其中的逻辑关系是利用scrapy调用selenium来使用phantomJS。
 在这其中需要对scrapy的下载中间件Downloader Middleware进行设置。
 在自定义的spider类里,我们要控制何时使用下载器中间件(默认所有请求都会经过中间件)。例如我需要先爬取列表页,再获取列表页里的详情页url,再以此爬取详情页。在爬取列表页时,不需要经过下载器中间件执行JS,而爬取详情页页就需要经过加载过JS的页面。

 利用网易邮箱来看如上述描述一般的框架
 具体框架如下

# -*- coding: utf-8 -*-
import scrapy
import os
import re
from selenium import webdriver


class MoocSpider(scrapy.Spider):
    name = 'mooc'
    allowed_domains = ['mail.163.com']
    start_urls = ['http://mail.163.com/']
    count = 0
    def parse(self, response):
        #with open("163.txt", 'wb') as f:#保存列表页
            #f.write(response.body)
        divv = response.xpath('.//div[@class = "headerNav"]')
        href = divv.xpath('.//a[@href]/@href')
        for ans in href:
            url = ans.extract()
            #with open('url.txt', 'a') as f:
                #f.write(url + '\n')
            #yield scrapy.Request(url=url, callback=self.parse2)
            request = scrapy.Request(url=url, callback=self.parse2)
            request.meta['PhantomJS'] = True
            yield request

    def parse2(self, response):
        self.count += 1
        #with open('./nojs/' + str(self.count) + '.txt', 'wb') as f:#保存未使用phantomjs时的页面
            #f.write(response.body)
        with open('./js/' + str(self.count) + '.txt', 'wb') as f:#保存使用了phantomjs时的页面
            f.write(response.body)
#setting中
DOWNLOADER_MIDDLEWARES = {
    'mooc3.middlewares.Mooc3DownloaderMiddleware': None,#关闭原本的中间件
    'mooc3.middlewares.PhantomJSMiddleware': 543,#这里的格式就是spidername文件夹下(我的spider交mooc3)middlewares.py中(这个是本来就有的)的PhantomJSMiddleware

}
#midlewres.py中加上
from selenium import webdriver
import scrapy
class PhantomJSMiddleware(object):

    def process_request(cls, request, spider):
        if 'PhantomJS' in request.meta:
            driver = webdriver.PhantomJS()
            driver.get(request.url)
            content = driver.page_source.encode('utf-8')
            driver.quit()
            return scrapy.http.HtmlResponse(request.url, encoding='utf-8', body=content, request=request)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值