使用BeautifulSoup爬取笔趣阁小说

最新推荐文章于 2024-09-27 22:16:35 发布

原创

最新推荐文章于 2024-09-27 22:16:35 发布 · 2.1k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫

本文演示了如何利用BeautifulSoup爬取笔趣阁上的小说《元尊》，逐步爬取了从第1章到第9章的内容，共597章。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用BeautifulSoup爬取笔趣阁小说

- 代码
- 实验一下

今天下午学习了一下BeautifulSoup，正好本人书荒，于是以笔趣阁网站为研究对象，就写了个爬小说的代码。放上来供大家参考，也请高手指正。
先放代码：

代码

import urllib.request as ur
from bs4 import BeautifulSoup
import ssl
import re


def get_soup(address):
    '''抓取网页，创建BeautifulSoup对象'''
    context = ssl._create_unverified_context()  # 取消验证
    headers = {
    
    'User-Agent': 'Chrome/68.0.3440.84'}
    request = ur.Request(address, headers=headers)
    response = ur.urlopen(request, timeout=20, context=context)
    content = response.read(