Python学习笔记_使用Python爬笔趣阁小说

最新推荐文章于 2025-04-01 09:59:52 发布

hahalan

最新推荐文章于 2025-04-01 09:59:52 发布

阅读量907

点赞数

分类专栏： Python相关文章标签： spring java 后端

本文链接：https://blog.youkuaiyun.com/hahalan/article/details/121551268

版权

本文记录了使用Python进行网络爬虫，抓取笔趣阁小说网站内容的过程。首先找到小说页面URL，然后通过浏览器开发者工具获取网页内容范围。接着，利用XPath解析网页，提取出标题和文章内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

找到笔趣阁的小说对应地址，比如：https://www.biquge7.com/book/6330/
刷新网页，F12拿到当前网页的范围内容
开始代码爬取：

import requests
from bs4 import BeautifulSoup
import re
from lxml import etree

# 手动输入:小说名+地址
bigTitle = '天官赐福'
url = 'https://www.biquge7.com/book/6330/'

# 获取当前url内容
webSideHtml = requests.get(url)
soup = BeautifulSoup(webSideHtml.text, 'lxml')

# 剔除页面上“最新”的那一章，防止拿到的url重复:找到“最新”章对应的class
for span in soup.