Python requests爬虫爬取小说数据

最新推荐文章于 2025-04-03 10:51:52 发布

天愚

最新推荐文章于 2025-04-03 10:51:52 发布

阅读量2.1k

点赞数

分类专栏： requests爬虫学习笔记文章标签： python爬虫 requests select

本文链接：https://blog.youkuaiyun.com/wl981292580/article/details/71056740

版权

本文介绍如何利用Python的requests库爬取网络上的小说数据，通过实例讲解请求网页并解析HTML，提取所需信息的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

抓取起点网站的所有小说（未分类抓取），并将提取的数据保存到本地csv文件中。
采用requests抓取网页，用BeautifulSoup解析网页，用select方法提取元素(也可以使用find()方法)

import requests
import csv
from bs4 import BeautifulSoup

import time#设置抓取间隔时间
page_urls=[]#页数链接
book_urls=[]#每页中的小说链接
url='http://a.qidian.com/'

def get_url(url):#获取页数链接
    headers={
  'User-Agent':"Mozilla/5.