Scrapy 实例——爬取豆瓣图书排名top250

最新推荐文章于 2021-05-21 23:24:24 发布
原创 最新推荐文章于 2021-05-21 23:24:24 发布 · 1.6k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何使用Scrapy框架爬取豆瓣图书排名前250的数据，包括安装Scrapy，创建项目，定义item.py中的数据结构，编写爬虫逻辑以及处理返回数据。在爬虫过程中，遇到403错误，通过修改USER_AGENT解决。最后将爬取结果保存为CSV文件。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、安装

pip install E:\python\lxml-4.2.6-cp36-cp36m-win_amd64.whl

pip install E:\python\Twisted-18.9.0-cp36-cp36m-win_amd64.whl

pip install scrapy

2、爬虫实例

首先我们需要创建一个项目。

    scrapy startproject douban_book #

在命令行输入scrapy startproject + [项目名]，这样会生成一个scrapy项目。我这个项目的名称是douban_book。大家一看这个名字就知道，我待会要去爬取豆瓣网站图书的内容。

我们来简单看一下该项目的目录结构

我们真正的爬虫程序是写在spiders/bookspider.py文件中的，bookspider.py是我自己创建的文件，其他的文件都是scrapy自己

自动初始化好的。

其中item.py是配置爬虫具体返回的数据，待会我们在具体的例子中会看到如何定义自己需要返回的东西；

pipeline.py是配置具体的通道信息；

settings.py是设置信息，爬虫大部分的配置信息都要在该文件中进行。

首先我们先编写item.py文件，该文件设置爬虫具体的返回数据。

    # -*- coding: utf-8 -*-
     
    # Define here the models for your scraped items
    #

最低0.47元/天 解锁文章

200万优质内容无限畅学
Scrapy爬取豆瓣图书TOP250并保存至Mysql数据库
weixin_41094534的博客
12-30 1134
一、配置scrapy环境 pip3 install Scrapy 二、爬虫项目 scrape start project douban_book #items.py import scrapy class DoubanBookItem(scrapy.Item): # define the fields for your item here like: # name = scr...
scrapy案例——豆瓣电影Top250的爬取
qq_53256193的博客
10-20 912
1.使用scrapy爬虫技术爬取豆瓣电影Top250的电影数据（包括排名、电影名称、导演、演员、url、评分）1.找到正确的数据吧，并复制正确的请求url。做好准备：开启管道、关闭君子协议、伪造浏览器。3.将爬取下来的数据保存在数据库中。项目：豆瓣电影Top250的爬取。2.解析数据：如title。2.实现分页爬取，共十页。
Scrapy爬取豆瓣图书Top250代码实现.txt
07-18
爬取豆瓣网图书TOP250的信息，只有一级网页结构，可以帮助初学时入门。
爬虫教程——用Scrapy爬取豆瓣TOP250
Guanngxu的博客
07-27 4316
    最好的学习方式就是输入之后再输出，分享一个自己学习scrapy框架的小案例，方便快速的掌握使用scrapy的基本方法。     本想从零开始写一个用Scrapy爬取教程，但是官方已经有了样例，一想已经有了，还是不写了，尽量分享在网上不太容易找到的东西。自己近期在封闭培训，更文像蜗牛一样，抱歉。 Scrapy简介     Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应...
使用python的scrapy框架简单的爬取豆瓣读书top250
qq_43163694的博客
09-16 2380
使用python的scrapy框架简单的爬取豆瓣读书top250 一、配置scrapy环境 1. 配置相应模块 如果没有配置过scrapy环境的一般需要安装lxml、PyOpenssl、Twisted、Pywin32、scrapy这几样模块，都可以 pip install *方式安装，如pip install lxml。 2. **测试是否安装成功 ** 直接在cmd输入scrapy，出现版本号...
Scrapy框架入门实例：Scrapy爬取豆瓣图书Top250
Trial & Error
02-09 4371
刚学了scrapy框架，找一个东西练练手 点击此处查看网页 先在cmd创建一个项目 ，记得先切换到对应的目录下面 scrapy startproject doubanTop 要把这些信息全部爬取下来故，先在items文件里面把要提取的信息的名字写好 items.py import scrapy class DoubantopItem(scrapy.Item): # define ...
基于Python Scrapy实现的爬取豆瓣读书9分榜单的书籍数据采集爬虫系统 含数据集和全部源代码
07-10
基于Python Scrapy实现的爬取豆瓣读书9分榜单的书籍数据采集爬虫系统 含数据集和全部源代码 # -*- coding: utf-8 -*- import scrapy import re from doubanbook.items import DoubanbookItem class DbbookSpider...
Scrapy 框架：爬取豆瓣Top 250
T5858785的博客
05-21 4273
使用Scrapy爬取豆瓣电影Top250 鲁迅说,豆瓣排行榜这么多,不爬一爬可惜了. 第一步：安装Scrapy 安装命令: pip3 install scrapy win用户一般来说第一次都不会太顺利。（我不会告诉你我也装了3个小时） 所以，本文结束。 这里是另外一种win7的安装方式，传说该作者是一次通过的http://www.scrapyd.cn/doc/124.html 其实本人觉得在无数次安装失败提示当中，主要是因为依赖库 Twisted-21.2.0-py3-none-any.whl文件
基于scrapy爬取豆瓣top250
10-12
在这个"基于scrapy爬取豆瓣top250"的项目中，我们主要关注的是如何利用Scrapy来获取豆瓣电影Top250列表中的关键信息，包括电影的页数、电影名称、导演名字、主演名字以及评分。 首先，我们需要了解Scrapy的基本架构...
Scrapy：爬取豆瓣图书
qq_39408590的博客
06-12 1422
一、Scrapy原理 工作原理：通过引擎统领其他成员协同工作。 在使用Scrapy的时候，不需要关心爬虫的每个流程，scrapy中的网络请求都是默认异步模式，请求和返回都会由引擎自动分配处理。如果某个请求出现异常，框架会做异常处理，跳过这个异常的请求，继续去执行后面的程序。 Scheduler（调度器）主要负责处理引擎发送过来的requests对象，把请求的url以有序的方式排列成队，等待引擎提取（类似gevent库的queue模块）。（Scrapy已实现） Downloader（下载器）负责处理引擎发送
爬取的豆瓣图书数据
03-15
2300+数据，包括：ISBN 全球唯一图书编号；Title 书名；Author 作者；Author_intro 作者简介；Tag 标签;NumRaters 评分人数;Average 评分;Id 豆瓣内该书Id;Binding 精装/简装;Pages 页数;Publisher 出版商;Origin_title 图书原名 Url 豆瓣链接;Image 图书豆瓣图片;Summary 图书概述;
实践Python的爬虫框架Scrapy来抓取豆瓣电影TOP250
09-21
主要介绍了实践Python的爬虫框架Scrapy来抓取豆瓣电影TOP250的过程,文中的环境基于Windows操作系统,需要的朋友可以参考下
爬虫项目实操三、用scrapy框架爬取豆瓣读书Top250的书名,出版信息和评分
随风的博客
04-14 2063
安装方法：Windows：在终端输入命令：pip install scrapy；mac：在终端输入命令：pip3 install scrapy，按下enter键,再输入cd Python，就能跳转到Python文件夹。接着输入cd Pythoncode，就能跳转到Python文件夹里的Pythoncode子文件夹。最后输入一行能帮我们创建Scrapy项目的命令：scrapy startproject douban，douban就是Scrapy项目的名字。按下enter键，一个Scrapy项目就创建成功了。
scrapy 抓取豆瓣Top250书籍信息
每天的表现，未来的必然！
09-02 3932
环境 scrapy1.03 + ubuntu14.04 + python2.7 scrapy 安装 pip install Scrapy 注：非root用户的话需在命令前加上：sudo，不然可能会因为权限问题装不上 更多关于scrapy的详细资料请参考 scrapy0.24 中文文档吧创建爬虫项目并进入该目录下 scrapy startproject douban cd doub
爬取豆瓣图书排行
qq_32154707的博客
08-18 460
爬取豆瓣图书排行 爬虫新手，边学边用，尝试将豆瓣图书排行爬取下来，使用requests库来获取网页，用xpath选择器筛选需要的信息。 （一）分析豆瓣图书排行URL 先来分析URL，看到这里有我们选的豆瓣图书标签：小说。还有两个参数分别是start和type。简单分析可以得知，start是当前页面第一本书的排行，type是页面的排序方式。其中type参数，T代表页面为综合排序，R代表页面按初版日期排序，S代表页面按评价排序。 （二）分析页面中需要的数据 打开chrome的开发者栏目，找到我们需要的信息，发
Python爬虫使用lxml模块爬取豆瓣读书排行榜并分析
lieren123567的博客
04-25 945
本次的项目步骤：一、分析网页，确定爬取数据 二、使用lxml库爬取内容并保存 三、读取数据并选择部分内容进行分析 步骤一： 分析网页源代码可以看到，书籍信息在属性为 class="doulist-item"的div标签中,打开发现，我们需要爬取的信息都在标签内部，通过xpath语法我们可以很简便的爬取所需内容。 分享图片(书籍各类信息所在标签） 所需爬取的内容在 class为post、title、rating、abstract的div标签中。 步骤二： 先定义爬取函数，爬取所需内容 执行函数，并存入csv文
Python 采用Scrapy爬虫框架爬取豆瓣电影top250
热门推荐
The palest ink is better than the best memory
06-26 1万+
scrapy 简介在此，默认已经安装好Scrapy，如果没有安装可以到scrapy 官网下载安装。 注意： 在安装Scrapy之前首先需要安装一下python第三方库：（安装方法并不在本文讲解范围，请自行了解） scrapy 爬取网页 scrapy 不同于简单的单线程爬虫，采用scrapy 框架写python爬虫需要生成许多个文件，这一件类似于java里面的web框架，许多工作都可以通
爬虫案例(爬取豆瓣top250)(Scrapy版)
可乐大牛的博客
07-28 4024
之前先写过一篇Python爬虫案例(爬取豆瓣top250)[完整＋详细] 这篇是基于Scrapy框架的 更加便利 因为了解了爬虫的原理之后 没有必要再去重复写轮子 直接快速开发 专注于业务逻辑即可 安装准备 安装Scrapy：直接pip install Scrapy就行 如果出现问题 就是一些基础模块没有导致安装失败 我之前安装Dlib库出现问题 网上各种神仙操作都不行 最后还是下载了vs然后在里面安装了python之后无论安装什么都没出现过问题了 参考这里 环境准备 创建爬虫项目 新建个文件夹或者找个自己
python用scrapy爬虫豆瓣_利用Scrapy框架爬取豆瓣TOP250
weixin_39757122的博客
12-22 837
一、Scrapy是什么百度是这么说的:1、Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试其实说白了Scrapy就是Python网络爬虫的一个很强的框架2、怎么安装Scrapy...这个先略过不懂的自己先百度去，因为里面的坑比较多3、看看scrapy的原理图 :Scra...
Scrapy 框架：爬取豆瓣读书Top 250
最新发布
01-08
### 使用 Scrapy 框架爬取豆瓣读书 Top 250 数据 #### 创建 Scrapy 项目 为了启动一个新的 Scrapy 项目，命令如下所示： ```bash scrapy startproject douban_book_top250 cd douban_book_top250 ``` 这会初始化一个名为 `douban_book_top250` 的新目录结构来容纳项目的文件[^1]。 #### 定义 Item 类 定义数据项类用于保存抓取到的信息。编辑 `items.py` 文件并加入以下代码片段: ```python import scrapy class BookItem(scrapy.Item): title = scrapy.Field() # 豆瓣书籍名称 author = scrapy.Field() # 作者名 rating = scrapy.Field() # 平均评分 review_count = scrapy.Field() # 参与评价人数 description = scrapy.Field() # 简介描述 ``` 此部分基于先前对于电影条目的定义进行了扩展以适应图书的具体属性[^2]。 #### 编写 Spider 抓取逻辑 创建蜘蛛脚本去遍历目标网页获取所需资料。通过执行下面这条指令可以生成基础模板： ```bash scrapy genspider book_spider "books.douban.com" ``` 随后修改生成的 Python 文件中的解析函数 `_parse()` 来适配实际页面布局以及提取规则。例如： ```python def parse(self, response): books = response.css('.item-root') for book in books: item = BookItem() item['title'] = book.xpath('./div[@class="pl2"]/a/text()').get().strip() item['author'] = book.css('.pub::text').get().strip() item['rating'] = book.css('.rating_nums::text').get() item['review_count'] = book.css('.pl::text').re_first(r'\d+') yield item next_page_url = response.css('#subject_list .paginator span.next a::attr(href)').get() if next_page_url is not None: yield scrapy.Request(response.urljoin(next_page_url)) ``` 这段代码实现了对单页内所有书籍信息的收集，并尝试定位下一页链接继续迭代直到完成整个列表扫描。 #### 配置 Pipeline 处理流程 最后一步是在 `pipelines.py` 中配置好处理管道以便于将采集来的数据持久化存储起来。这里给出 JSON 文件输出的例子作为示范： ```python import json class JsonWriterPipeline(object): def __init__(self): self.file = open('books.json', 'w', encoding='utf-8') def process_item(self, item, spider): line = json.dumps(dict(item), ensure_ascii=False) + "\n" self.file.write(line) return item def close_spider(self, spider): self.file.close() ``` 同时记得激活该插件，在 settings.py 添加或更新 ITEM_PIPELINES 设置项指向自定义处理器路径[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值