Scrapy实战1-模拟电商网站项目

项目网址：https://www.scrapingcourse.com/ecommerce/

一、建立scrapy爬虫项目

终端命令：

1. scrapy startproject ecommerce
2. cd ecommerce
3. scrapy genspider shoplist  'scrapingcourse.com'

二、shoplist爬虫基础参数修改

1、修改起始网址

start_urls = ["https://www.scrapingcourse.com/ecommerce/"]

2、配置管道参数

class Scrapingcourse101Item(scrapy.Item):
    # define the fields for your item here like:
    name = scrapy.Field()
    price=scrapy.Field()
    link=scrapy.Field()
    page_num=scrapy.Field()

3、设置settings.py

设置日志级别，隐藏不必要的执行信息

LOG_LEVEL='WARNING'

设置管道优先级设置（数越小，优先级越高）

ITEM_PIPELINES = {
   "scrapingcourse101.pipelines.Scr