【Python从零到壹】使用XPath解析数据爬取起点小说网数据

最新推荐文章于 2025-06-03 17:49:49 发布
最新推荐文章于 2025-06-03 17:49:49 发布
阅读量7.5k 收藏 57
点赞数 39
CC 4.0 BY-SA版权
分类专栏： # Python从零到壹 文章标签： xpath
本文为互联网老辛原创文章，未经博主允许不得转载
本文链接：https://blog.youkuaiyun.com/xinshuzhan/article/details/115500941
本文介绍了XPath的基本概念，包括其在XML和HTML中的应用，以及如何利用XPath在Python中通过lxml库解析数据。教程通过实例展示了如何在起点小说网抓取书名和作者信息，帮助读者掌握XPath的选取节点表达式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

我们已经可以从网上爬取数据了，现在我们来看看如何对数据解析

文章目录

1. xpath 的介绍

xpath是一门在XML文档中查找信息的语言

优点：
  • 可以在xml中找信息
  • 支持HTML的查找
  • 可以通过元素和属性进行导航

但是Xpath需要依赖xml的库，所以我们需要去安装lxml的库。

安装lxml库

我们先要安装lxml的库，直接在pycharm里安装即可：
在这里插入图片描述

XML的树形结构：

在这里插入图片描述
根元素-元素-属性-文本

使用XPath选取节点：

  • nodename: 选取此节点的所有节点
  • /从根节点选择
  • // 从匹配选择的当前节点选择文档中的节点，而不考虑他们的位置
  • . 选择当前节点
  • … 选择当前节点的父节点（此处是两个点，浏览器默认显示3
了解本专栏 订阅专栏 解锁全文
爬虫练习-爬取起点中文网小说信息
莫莫先生的博客
12-15 6130
爬取起点中文网全部小说基本信息，小说名、作者、类别、连载\完结情况、简介，并将爬取的数据存储与EXCEL表中
jQuery 基本过滤器
凯歌技术控团队
01-26 580
``` <html> <head> <meta charset="UTF-8"> <title>基本过滤器</title> <style type="text/css"> </style> <script type="text/javascript" src=...
Google插件--XPath安装使用
最新发布
vdtud的博客
06-03 569
安装完成后，重启chrome，按下Ctrl-Shift-X，再点击XPath图标，就打开了若想把XPath移到页面下方，按下Shift即可实现按住Shift，移动鼠标到想获取XPath表达式的元素上，即可实现
python 小说分析_Python起点小说数据分析
weixin_39534780的博客
11-20 1345
起点，作为一个8年的老书虫肯定是知道。既然学习了数据分析，就看看起点的数据。1 获取数据首先，肯定要先获取数据，巧妇难为无米之炊，没有数据也是白搭。没有现成的数据，只能通过爬虫来爬取我们需要的数据，这里就不写怎么获取数据了。爬虫的代码是我写的第一个爬虫，准确的说应该是复制粘贴。写得也真是够烂的，爬取过程一直断，只好分小说类型一点一点爬取。庆幸的是起点中文网并没有什么反爬虫措施，不然连数据都拿不到。...
python爬虫实战-利用xpath抓取小说
菜鸟学编程的博客
10-22 308
获取小说正文并写入本地。
xpath爬虫实战-爬取小说斗罗大陆第四部
lonmar的博客
02-02 748
lxml,requests,fake_agent 修饰爬虫 xpath html 网页元素 编码转换 建立文件夹 全部编码
Python简单爬取起点中文网小说（仅学习）
Sakuyo的弼码温生活
01-24 7870
目录前言一、爬虫思路二、使用步骤1.引入库2.读取页面3.分析HTML3.从标签中取出信息4.爬取正文总结 前言 实习期间自学了vba，现在开始捡回以前上课学过的python，在此记录学习进程 本文内容仅用于学习，请勿商用 一、爬虫思路 无需登录的页面只需要用到简单爬虫，获取小说目录、通过目录获取小说正文即可。 二、使用步骤 1.引入库 代码如下（示例）： import requests,sys from bs4 import BeautifulSoup 2.读取页面 代码如下（示例）： targe
Python网页爬虫爬取起点小说——re解析网页数据
qq_44777595的博客
09-21 4523
1、需要注意响应内容是否与网页源码格式相同2、编写正则表达式时需要将网页源码或者响应内容中的对应元素复制出来，观察其格式，按照格式去编写正则表达式3、如果我们查找不到对应的内容，或者只取到对应内容的一部分，则我们需要扩大查找范围，正则表达式的编写从开始标签的下级标签开始查找。4、建议每次获取到数据都输出查看是否是我们想要的格式和内容。
爬取起点小说+mongoDB存储
mlf的博客
11-24 1584
步骤： 1.连接数据库，确定存储表结构，建表。 (init_db.py) # -*- coding: utf-8 -*- """ @Time ： 2021/1/31 15:00 @Auth ： 牟晋卓 @File ：init_db.py @IDE ：PyCharm """ import sqlite3 conn = sqlite3.connect("qidian.db") print("连接成功！") c = conn.cursor() #设置存储的字段及其类型 sql = ''' create
爬取小说xpath （某币蛆ge）懂得都懂
qq_25976859的博客
05-24 1034
免责声明：本文章涉及到的应用仅供学习交流使用，不得用于任何商业用途，数据来源于互联网公开内容，没有获取任何私有和有权限的信息（个人信息等）。由此引发的任何法律纠纷与本人无关！禁止将本文技术或者本文所关联的Github项目源码用于任何目的。 大部分小说网站都这样（特别是各种笔趣阁） 不懂得块可以百度， 代码仅供参考 目标网站 ：https://www.xxxbiquge.com 2022/5/24 目前还在 需要的工具： pyth.........
爬取起点网小说【Python学习】
raptor
07-01 2859
——>>python小白一枚，仅限于了解基础语法，经过多天的学习，结果令人欣慰，可以正确的输出"Hello world！！"。 本人从来不看小说，为了看看学习效果，自己找了个网站练练手，在经过小半年的分析后，终于成功爬取了非会员的部分，会员部分不知道要怎么搞，难道要开个会员然后加上cookie，咱也不知道，咱也不敢问。虽然不能爬取会员部分，主要的是分析过程。 获取文章内容，首先要获...
基础8·起点小说一页爬取（xpath的使用，re库下的文本修改）
楼下小白
04-24 570
分析网页源代码发现，所需的文本储存在div标签下的p标签，并且p标签基本上只储存了想要获取的内容 所以调用lxml会更省力 import requests,time,re from lxml import etree def get_text(url): try: r=requests.get(url,timeout=30) r.raise_for_s...
使用python爬取小说
热门推荐
FengF2017的博客
02-09 1万+
使用python爬虫爬取小说 喜欢看网络小说的朋友们，经常需要从网上下载小说。有些人不想向正版网页交钱，也不想注册其他网站的账号，那么对于某些比较冷门的小说或者是正在更新的小说来说，就很难下载到txt或者其他格式的小说。我就是不想花太多时间找冷门小说的下载资源，因此稍微学习了python的爬虫知识。 新建scrapy爬虫项目 scrapy是python的爬虫框架。使用以下语句安装scra...
xpath 爬取起点小说 写入mysql前端
weixin_44600471的博客
03-04 388
import requests import lxml.etree as etree def getBook(url): response = requests.get(url) response.encoding='utf-8' #print(response) # 生成选择器对象 selector = etree.HTML(response.text)...
Python爬虫实战—起点小说
qq_53336761的博客
04-15 1万+
具体步骤包括搜索小说、获取小说章节链接、获取章节内容和保存小说内容。打开起点小说网站，搜索要爬取的小说，进入小说的阅读页面析页面结构，获取小说的每个章节的链接，通过网络请求获取每个章节的内容解析章节内容，提取出小说正文将小说正文保存到本地文件中。我们要爬取的是起点小说网站的小说内容，因此我们需要先找到小说的阅读页面，然后通过分析页面结构和网络请求，获取小说的章节内容。我们可以通过搜索小说名称，进入小说的阅读页面，然后分析页面结构，获取小说的章节链接。keyword = '斗破苍穹'# 获取小说章节链接。
简单爬取网页上的小说
please_fix_的博客
03-28 2400
简单爬取一下网页上的小说（能看到的）并保存在文件中： import requests import parsel # 分析网页，先爬取第一章 # 获取网页数据 建议每次都写headers 因为如果次数太多 会被限速 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ' ...
手把手教你用Python网络爬虫实现起点小说下载
这家伙很懒，什么都没有留下
01-22 4548
通过以上步骤，你应该已经能够使用Python网络爬虫实现起点小说的下载。请记住，在使用爬虫时，务必遵守相关法律法规和网站的使用协议。尊重网站的权益和用户的数据，避免对网站的正常运行造成干扰或侵犯他人的隐私。
python爬虫---起点中文网免费小说爬取下载-实战项目
tmyzxy1314的博客
01-13 3902
python爬虫---起点中文网免费小说爬取下载-实战项目
Python网络爬虫基础：定向数据爬取与网页解析
资源摘要信息:"本文档旨在提供关于Python网络爬虫的基础学习资料，包括如何使用Python进行定向网络数据的爬取以及网页内容的解析。文档特别强调了基本能力的培养，以便学习者能够熟练地进行网络爬虫的编写和信息提取...
评论 82
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

互联网老辛

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值