C 4. 背诵 - scrapy爬虫编写流程

scrapy爬虫编写流程

基于《精通scrapy网络爬虫-刘硕》第8章中的案例

1 项目步骤

1. 创建名为books的项目、爬虫
2. 打开Items.py ：先定义封装书籍信息的Item类

3. 打开Spider.py：编写爬虫

   ① 指定url
   ② 编写页面解析代码

4. 打开pipelines.py：对数据进行处理
5. 打开setting.py：启用pipelines，对csv的head进行排序

2对CSV的head排序

1. 打开配置文件setting.py
2. 使用FEED_EXPORT_FIELDS指定各列的次序

FEED_EXPORT_FIELDS = ['name', 'price', 'stock']