scrapy selenium

莺声门径

于 2018-08-28 15:48:24 发布

阅读量562

点赞数

分类专栏：小知识

本文链接：https://blog.youkuaiyun.com/qq_33385691/article/details/82149171

版权

小知识专栏收录该内容

3 篇文章

订阅专栏

scrapy selenium 必须在setting中开启中间件才行，不然不会执行中间件。

ROBOTSTXT_OBEY = False #关掉机器人协定
。。。
。。。
。。。
# Enable or disable downloader middlewares
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
    'xiaohua.middlewares.XiaohuaDownloaderMiddleware': 543,
} #要用中间件启动webdriver, 必须要开启前中间件才行

# Enable or disable extensions
# See https://doc.scrapy.org/en/latest/topics/extensions.html
#EXTENSIONS = {
#    'scrapy.extensions.telnet.TelnetConsole': None,
#}

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
    'xiaohua.pipelines.XiaohuaPipeline': 300,
}#Pipeline也要记得开启哦，不然也是默认不启动的