python3 小说爬虫

最新推荐文章于 2021-07-11 23:15:03 发布

NewRain001

最新推荐文章于 2021-07-11 23:15:03 发布

阅读量222

点赞数

CC 4.0 BY-SA版权

分类专栏： Python自动化运维文章标签： python

本文链接：https://blog.youkuaiyun.com/NewRain_wang/article/details/103658343

Python自动化运维专栏收录该内容

9 篇文章

订阅专栏

本文介绍了一个使用Python的requests库和正则表达式re库抓取纵横小说网小说章节内容的脚本。该脚本通过定时任务持续抓取指定URL的小说章节，将内容写入本地文件，并自动寻找下一章节的URL继续抓取，实现自动化的小说章节爬取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests,re
import time

def func(url):
    data = requests.get(url)
    data.encoding = 'UTF-8'
    data = data.text
    strd = re.search(r'<p>(.*)</p>',data)
    strd = strd.group().replace('<p>','----').replace('</p>','\n')
    return strd
def func2(url):
    data = requests.get(url)
    data.encoding = 'UTF-8'
    data = data.text
    s = re.search(r'(http://book.zongheng.com/chapter.*?\d{8}.html).*?下一章',data)
    return s.group(1)
url = ''
while True:
    time.sleep(5)
    if url == '':
        url = url = 'http://book.zongheng.com/chapter/557195/27125898.html'
    data = func(url)
    f = open('a.txt','a+')
    f.write(data)
    url = func2(url)
    print(url)
f.close()