python Scrapy2古诗爬取

最新推荐文章于 2022-05-20 04:30:00 发布
原创 最新推荐文章于 2022-05-20 04:30:00 发布 · 355 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文详细介绍了如何使用Python Scrapy2框架爬取古诗，包括设置配置、页面分析、数据封装、pipeline处理、翻页逻辑以及处理需要点击全文才能获取的诗词内容。在处理过程中，通过调整设置和正则表达式，成功解决了中文识别和全文内容获取的问题。

python Scrapy2古诗爬取

在这里插入图片描述
在这里插入图片描述

setting配置

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

页面分析

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

数据分析

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

实现步骤

在这里插入图片描述

在start文件运行

在这里插入图片描述

结果：

在这里插入图片描述

获取内容

在这里插入图片描述
在这里插入图片描述

最低0.47元/天 解锁文章
scrapy爬取诗词网
weixin_42389277的博客
09-16 529
入门scrapy不久,尝试着写一段代码爬取诗词网. spider如下: class ShiciSpider(scrapy.Spider): name = 'shici' url = 'http://www.shicimingju.com/chaxun/zuozhe/44_' page = 1 start_urls = [url + str(page) +'.ht...
Python scrapy爬取古诗文网，数据存入mongo
qq_46659912的博客
11-13 520
一、在items.py文件中定义数据结构 title: 诗词的标题 writer： 诗词的作者 dynasty：诗词编写的朝代 content: 诗词的正文 content_url： 正文链接 二、shici.py分析爬取内容 三、settings.py配置相关内容 四、pipelines.py中写入mongo 1、items.py文件 # Define here the models for your scraped items # # See documentation in: # https://do
Scrapy入门：爬取古诗文
12-21
Scrapy框架介绍 写一个爬虫需要做很多事情，比如：发送请求，数据解析，数据存储，反爬虫机制（更换代理，设置请求头等），异步请求。这些工作如果每次都要从头开始，使很浪费时间得。scrapy 把一些基础的东西都封装了，在它上面写爬虫可以更加高效。 Scrapy Engine（引擎） ：框架的核心，负责在各组件之间进行通信，传递数据等。 Spider(爬虫）：发送那个需要爬取的链接给引擎，最后引擎把其他模块请求回来的数据在发送给爬虫，爬虫就去解析想要的数据。用于从特定的网页中提取自己需要的信息，即所谓的实体(Item)。 用户也可以从中提取出链接,让Scrapy继续抓取下一个页面。这个部分使我
通过 scrapy 爬虫架构爬取中国古诗网的 唐诗三百首
09-09
通过 scrapy 爬虫架构爬取中国古诗网的 唐诗三百首 通过 scrapy 爬虫架构爬取中国古诗网的 唐诗三百首 通过 scrapy 爬虫架构爬取中国古诗网的 唐诗三百首 通过 scrapy 爬虫架构爬取中国古诗网的 唐诗三百首
Python-Scrapy练习项目利用Scrapy抓取古诗
08-10
Scrapy练习项目，利用Scrapy抓取古诗（唐诗三百首，宋词三百首等），并保存为json格式
scrapy爬取古诗文网.zip
10-13
Scrapy是一个强大的Python爬虫框架，它为开发者提供了一套高效、灵活的工具，用于爬取网站并提取结构化数据。在这个"scrapy爬取古诗文网.zip"压缩包中，包含了一个名为"ancient-poetry-crawler-master"的项目，我们...
python古诗代码案例_python第三方库re库实例之爬取古诗词网上诗歌
weixin_39541693的博客
11-26 616
# 使用正则表达式解析网页元素# 关键点:直接找每个个体里面相同位置的元素，用findall一次提取出来到列表中import requestsimport reDATA = []def getHTMLtext(url,headers,timeout=10):try :resp = requests.get(url,headers=headers,timeout=timeout)resp.raise...
scrapy框架爬取古诗文网的名句
weixin_39218107的博客
09-11 946
使用scrapy框架爬取名句，在这里只爬取的了名句和出处两个字段。具体解析如下： items.py 用来存放爬虫爬取下来的数据模型，代码如下： import scrapy class QsbkItem(scrapy.Item): content = scrapy.Field() auth = scrapy.Field() piplines.py 将items的模型存储到json...
爬虫笔记25：piplines文件的使用、简单案例：scrapy爬取古诗文网站（scrapy中的常用翻页方法）、
微信公众号进阶的阿牛哥的博客
06-19 716
一、piplines文件的使用 1、 开启管道 在settings.py文件中取消以下注释： ITEM_PIPELINES = { ‘mySpider.pipelines.MyspiderPipeline’: 300, } ​ 2 、回到爬虫文件当中，把数据yield 给管道。 为什么是yield的原因： 不会浪费内存 翻页的逻辑 scrapy.Requst(url,callback,…) 通过yield来返回 ...
Python爬虫（一）——爬取古诗文网，初识什么是爬虫
geeknuo的博客
12-09 4926
首先来说下什么是爬虫，按照百度百科的说法是：是一种按照一定规则，自动抓取万维网信息的程序或者脚本；首先它是程序，需要我们定义好规则，然后程序就会按照定义好的规则抓取网络上的信息，数据抓取下来了之后，需要我们对这个庞大的数据进行筛选、提取，也就是我们通常说的数据清洗，获得我们需要的信息。这里需要说的一点是，爬虫并不是python的专利，用其他的语言也是可以做到的，只是因为python提供了很多方便我...
轻松带你掌握Scrapy框架（以爬取古诗文网为例）
fnaleml的博客
12-13 1438
写一个爬虫，需要做很多的事情。比如：发送网络请求、数据解析、数据存储、反反爬虫机制（更换ip代理、设置请求头等）、异步请求等。这些工作如果每次都要自己从零开始写的话，比较浪费时间。因此Scrapy把一些基础的东西封装好了，在他上面写爬虫可以变的更加的高效（爬取效率和开发效率）。因此真正在公司里，一些上了量的爬虫，都是使用Scrapy框架来解决。 安装Scrapy框架 pip install scrapy。 可能会出现问题： 在ubuntu下要先使用以下命令安装依赖包：sudo apt-get ins
爬取古诗词
y2867299793的博客
07-03 562
爬取古诗词获取内容实现所有网页提取和翻页完整代码 闲来无事，就写了个代码爬取古诗词名句来看看。我们用到的是这个网站 链接: https://www.xungushici.com/刚刚开始学习Python爬虫，有些不对的地方还请大佬指出。 获取内容 首先我们看一下这个内容的基本架构。分别有注释、故事赏析等等。 分别获取它的位置。 对其进行提取 def get_body(url): respond = requests.get(url) html = parsel.Selector(respo
爬虫笔记25补充：scrapy爬取古诗文网站(爬取原文和译文时，遇到‘展开阅读全文’的处理）
微信公众号进阶的阿牛哥的博客
07-04 1146
如图： kenne 我们点击查看网页原代码，发现隐藏的数据并不在原代码中， 我们点击检查
使用scrapy爬取古诗文网的前十页数据
习惯一个人面对所有
10-07 1482
内容简介使用scrapy爬取古诗文网的前十页数据创建scrapy框架设置scrapy项目写爬虫类设置爬取的内容保存数据标题设置多页爬取（在gsww_spider.py里面设置） 使用scrapy爬取古诗文网的前十页数据 创建scrapy框架 使用cmd创建一个爬虫项目 scrapy startproject gsww #创建新项目 然后进入目录中，创建spider cd gsww scrapy genspider gsww_spider www.gushiwen.cn 设置scrapy项目 在s
八 python爬虫之scrapy框架
MisterClown的博客
11-25 262
1 scrapy框架初识 什么是框架？ 所谓的框架简单通用解释就是就是一个具有很强通用性并且集成了很多功能的项目模板，该模板可被应用在不同的项目需求中。也可被视为是一个项目的半成品。 如何学习框架？ 对于刚接触编程或者初级程序员来讲，对于一个新的框架，只需要掌握该框架的作用及其各个功能的使用和应用即可，对于框架的底层实现和原理，在逐步进阶的过程中在慢慢深入即可。 什么是scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。其内部已经被集成了各种功能（高性能
Scrapy框架学习记录（1）
读书郎
07-22 246
Scrapy框架： 写一个爬虫，需要做很多的事情。比如：发送网络请求、数据解析、数据存储、反反爬虫机制（更换ip代理、设置请求头等）、异步请求等。这些工作如果每次都要自己从零开始写的话，比较浪费时间。因此Scrapy把一些基础的东西封装好了，在他上面写爬虫可以变的更加的高效（爬取效率和开发效率）。因此真正在公司里，一些上了量的爬虫，都是使用Scrapy框架来解决。 安装Scrapy框架： pip install scrapy。 可能会出现问题： 在ubuntu下要先使用以下命令安装依赖包：sudo ap
python Scrapy项目 之 古诗文网案例呈现
侯小啾技术博客
05-20 2785
python Scrapy项目 之 古诗文网案例呈现 通过python,Scrapy框架，爬取古诗文网上的诗词数据，具体包括诗词的标题信息，作者，朝代，诗词内容，及译文。爬取过程需要逐页爬取，共4页。
爬取某app的古诗文翻译注释等
热门推荐
Zhoulei16的博客
07-28 1万+
本来是想爬取某网站的古诗词，但是这个网站的有限制，只能爬取十页的数据，再多就接口500，然后发现该网站有app端，然后通过fiddler抓取接口，爬取了十万左右的古诗词。 通过python的正则表达式爬取的，没用框架，而且设计表的时候也有一些问题不过嫌麻烦没优化，话不多说上代码。 因为当初写了好几个忘了哪个是全的了，然后找了个差不多的粘贴上了。 最后把整个app的诗词曲四书五经等等，翻译注释赏析全爬取出来了。 import re,os import pymysql import requests impor
使用Scrapy进行古诗文爬取并保存为JSON格式
Python-Scrapy是Python编程语言中一个快速、高层次的网页爬取和网页抓取框架，常用于数据挖掘和信息处理领域。Scrapy广泛应用于Web爬虫开发，它能够快速爬取网站数据并提取结构化信息。本练习项目的主要目的是利用...
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值