BeautifulSoup类

最新推荐文章于 2022-11-20 19:33:12 发布

转载最新推荐文章于 2022-11-20 19:33:12 发布 · 136 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/BASE64/p/10288110.html

文章标签：

#python

1 from bs4 import BeautifulSoup
2 soup1 = BeautifulSoup("<html>data</html>","html.parser")
3 soup2 = BeautifulSoup(open("D://demo.html"),"html.parser")

BeautifulSoup库解析器：

解析器	使用方法	条件
bs4的HTML解析器	BeautifulSoup(mk,'html.parser')	安装bs4库
lxml的HTML解析器	BeautifulSoup(mk,'lxml')	pip install lxml
lxml的XML解析器	BeautifulSoup(mk,'xml')	pip install lxml
html5lib的解析器	BeautifulSoup(mk,'html5lib')	pip install html5lib

BeautifulSoup类的基本元素：

基本元素	说明
Tag	标签，最基本的信息组织单元，分别用<></>表明开头和结尾
Name	标签的名字，<p>...</p>的名字是'p',格式：<tag>.name
Attributes	标签的属性，字典形式组织，格式：<tag>.attrs
NavigableString	标签内非属性字符串，<>...</>中字符串，格式：<tag>.string
Comment	标签内字符串的注释部分，一种特殊的Comment类型

 1 import request
 2 from bs4 import BeautifulSoup
 3 
 4 r = requests.get('http://www.baidu.com')
 5 r.raise_for_status()
 6 r.encoding = r.apparent_encoding
 7 demo = r.text
 8 soup = BeautifulSoup(demo,"html.parser")
 9 print(soup.title)#打印title标签
10 tag = soup.a
11 prnt(tag)#打印a标签，有时候一个页面里面有很多个a标签，可是这个方法只能获得第一个a标签
12 print(soup.a.name)#获得a标签的名字，即a
13 print(soup.a.parent.name)#获得a标签的上一级标签
14 print(soup.a.parent.parent.nama)#获得a标签的祖父的标签名字
15 print(tag.attrs)#获得标签的属性
16 print(tag.attrs['class'])#获得a标签的class属性
17 print(tag.attrs['href'])#获得a标签的href属性，即相关链接
18 print(type(tag.attrs))#获得标签的属性，即字典型<class 'dict'>
19 print(type(tag))#获得标签的类型，<class 'bs4.element.Tag'>
20 
21 print(soup.a.string)#获得a标签里面的信息
22 print(soup.p.string)#获得p标签里面的信息
23 print(type(soup.p.string))#获得p标签的string的类型，是NavigavleString型，它可以跨越多个标签层次,<class 'bs4.element.NavigableString'>
24 
25 newsoup = BeautifulSoup(demo,"html.parser")#这个HTML里面的p标签里面有一个注释的b标签
26 print(newsoup.b.string)#b是一个注释标签，但是打印出来的类型把尖括号去掉了,'This is a Comment'
27 
28 #小结：
29 #<p class="tittle">...</p>
30 #<tag.name   tag.attrs>tag.string</tag.name>