利用Python爬取小说（附源码）

最新推荐文章于 2025-09-01 18:36:33 发布

原创

最新推荐文章于 2025-09-01 18:36:33 发布 · 2k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python #开发语言 #数据分析 #自动化 #学习

本文介绍了如何使用Python爬虫技术，通过30行代码实现从某小说网站抓取小说内容，涵盖从导入模块、获取网页响应、解析标题和目录、遍历获取正文，到保存和展示小说的全过程。还提供了读者福利，包括Python学习路线、视频教程、精品书籍、漫画教程、实战案例和面试真题等资源。

用30行代码爬取某小说网站上的一篇小说。

完整源代码已打包，需要请移步文末领取

一、导入模块

import requests
from lxml import etree
import time

二、获取网站的响应信息，并以text打印

url = 'https://www.biquge365.net/newbook/33411/'
head = {
   
   
    'Referer': 'https://www.biquge365.net/book/33411/',
    'users-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36 Edg/112.0.1722.39'
}
response = requests.get(url,headers = head,verify = False)
# print(response.text)
html = etree.HTML(response.text)