用 Python 爬取糗事百科

本文介绍了如何使用Python爬虫抓取糗事百科的内容,包括爬取前的准备,如查看网页和标签分析,接着详细阐述了项目的具体实现,包括新建Scrapy项目,设置,提取作者和文本,通过Pipeline保存数据,定义Item,以及实现爬取多个页面的逻辑。文章还提供了相关代码示例和注意事项。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

爬取前的准备

糗事百科官网: https://www.qiushibaike.com

段子网址: https://www.qiushibaike.com/text

关于解析html博主选择的方法是使用xpath,如有不懂的同学,可看下面两个表格。如果想要深入学习xpath的相关知识可点击博主给的官方文档的链接进行学习,博主在此声明是为了让读者们能够理解解析式的具体含义。

官网网址: https://lxml.de/tutorial.html

路径表达式

匹配属性

1.1 查看网页

根据上图标记部分可以看到我们主要的要点如下。

  1. 整体部分

  2. 作者名称

  3. 文本内容

  4. 标签翻页

1.2 标签分析

首先我们需要知道我们爬取的所有内容所在标签

通过查看开发者选项,发现 <div class ="coll old-style-coll"> 这个标签对应的正是所有内容的整体存放位置,那么我们也可知道之后的所有内容都是从此标签的子标签内提取得到。

分析一番后,我们可以得到获取所有文本内容的解析式如下:

//div[@class = 'col1 old-style-col1']/div

作者名称所在位置

由上图我们可以看到作者的位置在 <h2></h2

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值