python简单爬虫代码示例

最新推荐文章于 2021-04-07 23:30:50 发布

原创最新推荐文章于 2021-04-07 23:30:50 发布 · 1.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

PythonLearn 专栏收录该内容

85 篇文章

订阅专栏

本文介绍了一种使用Python进行网络爬虫的方法，通过urllib和BeautifulSoup库，从目标网站抓取小说章节内容，并将其保存到本地。文章详细展示了如何将网页的二进制内容转换为字符串，再利用BeautifulSoup解析HTML，最后提取所有段落元素并保存到HTML文件中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目标网站：http://www.jueshitangmen.info/tian-meng-bing-can-15.html
代码：
from urllib.request import urlopen
from bs4 import BeautifulSoup

html1=urlopen(“http://www.jueshitangmen.info/tian-meng-bing-can-15.html”).read() #获取二进制文件
html2=html1.decode(“utf-8”)#把二进制转为string类型
f = open(‘news.html’,‘w’,encoding=‘utf-8’)
f.write(newshtml2)
f.close()
#print(type(html1))
#print(type(html2))
#print(("\n" in html2))#换行符是包括在网页字符串里面的
#print(html2)
b_soup=BeautifulSoup(html2,features=“lxml”)#class 'bs4.BeautifulSoup
all_p=b_soup.find_all(“p”)#<class ‘bs4.element.ResultSet’>
#print(all_p[0])
f = open(‘story_p.html’,‘w’,encoding=‘utf-8’)
f.close()
for i in all_p:
f = open(‘story_p.html’,‘a’,encoding=‘utf-8’)
f.write(" “+i.get_text()+”\n")
f.close()
print(type(i.get_text()))