Scrapy爬虫爬取书籍网站信息(一)

本文介绍如何使用Scrapy爬虫框架爬取书籍网站的数据,包括书名、价格等信息,并将结果存储为CSV文件。通过scrapy shell进行网页分析,提取书籍详情页链接,并展示在shell中调用view函数进行页面查看的操作流程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文运用了Scrapy爬虫的知识,爬取了点击打开链接网站中的书籍信息,可以了解到基本Scrapy爬虫框架的使用方法。

一、项目需求:

     1、其中每本书的信息包括:书名、价格、评价等级、产品编码、库存量、评价数量。

     2、将爬取的结果保存到csv文件中。

二、在前期分析网页页面时,可以用Chrome开发者工具,也可以用scrapy shell<URL>命令,如下:

Chrome开发者工具这里不做介绍了,第二种方法在命令提示符下输入scrapy shell<URL>即可在交互式命令下操作一个Scrapy爬虫,如:scrapy shell http://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html,(这里操作的是第一本书籍的页面),部分截图如下:


接下来,在scrapy shell中调用view函数,在浏览器中显示response所包含的页面:即输入:view(response)

在进行页面分析时,使用view函数打开的页面要比使用Chrome审查元素工具更加可靠。如下图:


*****************************************************************************************************************************

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值