第1.4章 scrapy之setting

原创于 2017-06-13 16:53:42 发布 · 479 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#scrapy

岁月云——python 专栏收录该内容

66 篇文章

订阅专栏

本文介绍了一个具体的Scrapy爬虫项目的配置细节，包括爬虫名称、下载延迟、中间件设置、Item管道以及数据库连接配置等内容。通过这些配置，可以实现高效稳定的网页抓取。

# -*- coding: utf-8 -*-
BOT_NAME = 'eie'

SPIDER_MODULES = ['eie.spiders']
NEWSPIDER_MODULE = 'eie.spiders'
# 爬虫规则配置
# robots.txt规则
ROBOTSTXT_OBEY = False
# 下载延迟
DOWNLOAD_DELAY = 3
#启用Cookie
COOKIES_ENABLED = False
# 下载中间件,位于Scrapy引擎与下载器之间的钩子框架，主要是处理scrapy引擎与下载器之间的请求和响应
DOWNLOADER_MIDDLEWARES = {
    'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware' : None,
    'eie.middlewares.random_user_agent.RandomUserAgent': 100,
}
# item管道
ITEM_PIPELINES = {
    'eie.pipelines.EiePipeline':100
}
# Mysql数据库配置
MYSQL_USER = 'root'
MYSQL_PASSWD = '000000'
MYSQL_HOST = '192.168.5.126'
MYSQL_DBNAME = 'eie'
MYSQL_POOL_SIZE = 8