Scrapy—注意点

1. 创建项目
    scrapy startproject 项目名称


2. 创建爬虫程序
    cd project_name（进入项目目录）

    scrapy genspider 应用名称 爬取网页的起始url 
  （例如：scrapy genspider qiubai www.qiushibaike.com）

3. 执行爬虫程序
    scrapy crawl 爬虫名称 ：该种执行形式会显示执行的日志信息
    scrapy crawl 爬虫名称 --nolog：该种执行形式不会显示执行的日志信息

1. settings配置

    (1)USER_AGENT - 伪装请求载体身份
    USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
    
    (2)ROBOTSTXT_OBEY - 可以忽略或不遵守roboots协议
    ROBOTSTXT_OBEY = False

    (3)COOKIES_ENABLED = False 不必修改
    
    (4)LOG_LEVEL = 'ERROR' 执行时,只显示错误
    
    (5)LOG_FILE = 'log.txt' 保存日志

2. spiders文件夹的py,可注释掉allowed_domains
    
    # allowed_domains = ['www.baidu.com']