scrapy案例——当当网的爬取一

项目名称：当当网的爬取一——爬取青春文学的书籍数据

案例需求：

1.使用scrapy爬虫技术爬取当当网中青春文学的书籍数据，包括（标题、现价、定价、作者、出版日期、出版社、书本详情和书本图片url）

2.将获取到的数据保存在数据库中

3.实现分页爬取

分析

1.数据包的获取

2.准备工作：

# ROBOTSTXT_OBEY = True

ITEM_PIPELINES = {
   "Dangd.pipelines.DangdPipeline": 300,
}

USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36"

3.解析数据

同理

标题：
/html/body/div[2]/div/div[3]/di