Python爬虫利器之Beautiful Soup的用法

最新推荐文章于 2023-02-09 10:18:24 发布

原创最新推荐文章于 2023-02-09 10:18:24 发布 · 854 阅读

0 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

15 篇文章

订阅专栏

本文介绍了一个使用Python进行网络小说爬取的示例程序。通过urllib请求网页内容，并利用BeautifulSoup解析HTML，提取小说章节内容并保存为文本文件。

部署运行你感兴趣的模型镜像

BeautifulSoup的帮助说明可以参考 http://cuiqingcai.com/1319.html

爬取网络小说

#-*- coding:utf-8 -*-

import urllib.request
import re
from bs4 import BeautifulSoup
import os

def getPage(url):
    page = urllib.request.urlopen(url).read().decode('utf-8')
    return page

def saveToFile(page,num):
    soup = BeautifulSoup(page)
    contents = soup.p.prettify()
    print(contents)
    contents = contents.replace("<br/>","").replace("/bk","").replace('<p>',"").replace('</p>',"")
    print("=======================")
    print(contents)
   
    title = '第'+str(num)+'章.txt'
    print(title)
    with open(title,'w') as file:
        file.writelines(contents)

if __name__=='__main__':
    if os.path.exists('死人经'):
        os.removedirs('死人经')
    os.mkdir("死人经")
    os.chdir("死人经")
    j = 98
    for i in range(620,653):
        url = "http://h6w.org.cn/post/" + str(i) + ".html"
        print(url)
        j = j+1
        saveToFile(getPage(url),j)

您可能感兴趣的与本文相关的镜像