【python爬虫】看小说总有广告？来这里我教你

最新推荐文章于 2025-02-05 09:55:19 发布

原创最新推荐文章于 2025-02-05 09:55:19 发布 · 608 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #开发语言

本文介绍了如何使用Python爬虫技术，配合requests和lxml库，从Biquge365.net网站抓取小说内容，避开广告并存储到本地，以提供更好的阅读体验。

前言：
小说作为在自己空闲时间下的消遣工具，对我们打发空闲时间很有帮助，而我们在网站上面浏览小说时会被广告和其他一些东西影响我们的观看体验，尤其是想点击下一章的时候结果不小心点击广告让我非常抓狂。
在这里插入图片描述

而这时我们就可以利用爬虫将我们想要观看的小说下载下来，这样就不会担心广告的影响了。

一：环境配置

Python版本：3.7.3

IDE:PyCharm

所需库：requests，lxml，time

二：准备工作

1：安装好我们所需要的库。

2：我们需要在电脑上的指定位置来创建一个文件夹来保存我们爬取的小说。

3：需要去下载XPATH插件以便于我们获取小说的名字。

三：具体代码实现

import requests
from lxml import etree
import time
url = 'https://www.biquge365.net/newbook/33411/'
head = {
    'Referer': 'https://www.biquge365.net/book/33411/',
    'users-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36 Edg/112.0.1722.39'
}
response = requests.get(url,headers = head,verify = False)
# print(response.text)
html = etree.HTML(response.text)
novel_name = html.xpath('/html/body/div[1]/div[3]/div[1]/h1/text()')[0]
novel_directory = html.xpath('/html/body/div[1]/div[4]/ul/li[*]/a/@href')
#由于网站可能具有反扒措施，所以我们设置一下时间，防止被反扒
time.sleep(6)
for i in novel_directory:
    com_url = 'https://www.biquge365.net'+i
    response2 = requests.get(com_url,headers=head)
    html2 = etree.HTML(response2.text)
    novel_chapter = html2.xpath('//*[@id="neirong"]/h1/text()')[0]
    novel_content = '\n'.join(html2.xpath('//*[@id="txt"]/text()'))
    with open('E:\\python源码\\爬虫教程\\小说.txt'+novel_chapter+'.txt','w',encoding='utf-8') as file:
        file.write(novel_chapter+'\n'+novel_content+'\n')
        file.close()
        print("下载成功"+novel_chapter)