python BeautifulSoup用法介绍

最新推荐文章于 2025-06-19 21:44:03 发布

原创最新推荐文章于 2025-06-19 21:44:03 发布 · 3.4k 阅读

31 ·

CC 4.0 BY-SA版权

文章标签：

#python

python 同时被 2 个专栏收录

18 篇文章

订阅专栏

爬虫

6 篇文章

订阅专栏

本文介绍了Python的BeautifulSoup库，重点讲解了选择解析器、基本用法、节点选择器（包括属性选择、嵌套选择、关联选择）以及方法选择器如find_all()和find()。还提到了CSS选择器的使用，推荐使用lxml解析库进行高效的网页抓取和信息提取。

BeautifulSoup用法介绍

1.选择解析器

直接选择lxml，在lxml中有HTML和XML的功能，速度快，容错能力强。

2.基本用法

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')        #BeautifulSoup对象初始化
print(soup.prettify())								#把要解析的字符串按标准的缩进格式输出
print(soup.titlte.string)							#输出HTML中title节点的文本内容，string属性用以获取文本内容

3选择器

3.1 节点选择器

优点：通过属性直接进行选择，非常快速。
弊端：当有多个节点时，这种选择方式只会选择到第一个匹配的点，其他的后面节点都会忽略。

3.1.1 选择元素

from bs4 import BeautifulSoup
soup=BeautifulSoup(html,'lxml')
print(soup.title)
print(type(soup.title))   #获取数据类型  
print(soup.title.string)   #获取文本的值
print(soup.head)
print(soup.p)     # 选择p节点

上面获取的数据类型为bs4.element.Tag类型，是BeautifulSoup中的一个重要数据结构。Tag具有一些属性，比如string属性，调用该属性，可以获取节点的文本内容，接下来的输出结果正是节点的文本内容。

3.1.2 提取信息

1）获取名称

print(soup.title.name)

获取属性
利用attrs取属性值

print (soup.p.attrs)
print(soup.p.attrs['name'])

或者直接取用在节点后用[]取用

print(soup.p['name'])
print(soup.p['class'])

3）获取文本内容.string

print(soup.p.string)  ##获取第一个p中的文本

3.1.3 嵌套选择

html='''
<html><head><title>The Dormouse's story</title></head>
<body>
'''
from bs4 import BeautifulSoup
soup=BeautifulSoup(html,'lxml')
print(soup.head.title)
print(soup.head.title.string)

在调用head之后再调用title节点元素，可以依此做嵌套选择

3.1.4 关联选择

1）获取直接子节点
contents或者children

print(soup.p.contents)

contents会返回p节点中的子节点和文本
children同样，但是结果是生成器类型

print(soup.p.children)
for i,child in enumerate(soup.p.children):
	print(i,child)

子孙节点

print(soup.p.descendants)
for i,child in enumerate(soup.p.descendants):
	print(i,child)

descendants会递归查询所有子节点和孙节点，即一条一条返回所有的子节点和孙节点
3）父节点和祖先节点

print(soup.a.parent)   #选择第一个a节点的直接父节点元素
print(soup.a.parents)  #选择第一个a节点的所有父节点元素，返回生成器类型
print(list(enumerate(soup.a.parents)))  #利用列表输出其索引和内容

4）兄弟节点

print(soup.a.next_sibling)   #获取下一个节点
print(soup.a.previous_sibling)   #获取上一个节点
print(list(enumerate(soup.a.next_siblings)))  #返回a后面的节点
print(list(enumerate(soup.a.next_siblings)))  #返回a前面的节点

5）提取信息

print(soup.a.next_sibling.string) ##  获取下一个节点的文本信息
print(soup.a.parents)[0].attrs(['class']) ##获取第一个父节点的属性class

3.2 方法选择器

find_all()和find()

3.2.1 find_all()

find_all() 顾名思议，查询所有符合条件的元素，给它传入一些属性或文本，就可以得到符合条件的元素，功能十分强大。
API如下：

find_all(name,attrs,rescursive,text,**kwargs)

1)name

from bs4 import Beautifulsoup
soup=BeautifulSoup(html,'lxml')
print(soup.find_all(name='ul'))  ##查询所有ul节点

2）嵌套查询
因为上面name返回的是tag类型，所以可以继续查询，查询ul之后的li节点

for ul in soup.find_all(name='ul'):
	print(ul.find_all(name='li'))

返回依然是tag类型，可以继续查询至li的文本内容

for ul in soup.find_all(name='ul'):
	print(ul.find_all(name='li'))
for li in ul.find_all(name='li'):
   print(li.string)

attrs
除了根据节点名查询，还可以传入一些属性来查询

print(soup.find_all(attrs={'id':'list-1'}))
print(soup.find_all(attrs={'name':'elements'}))

attrs参数是字典类型
对于一些常用的类型可以不用attrs来传递，可以直接写入

print(soup.find_all(id='list-1'))
print(soup.find_all(class_='element'))

由于class在python里是一个关键字，所有后面需要加一个下划线
4）text
text参数用来匹配节点的文本，传入的形式可以是字符串，可以是正则表达式对象

print(soup.find_all(text=re.compile('link')))

上述输入为正则表达式输入，结果返回所有匹配正则表达式的节点文本组成的列表

3.2.2 find()

与前面的基础用法一致，只返回单个元素
find_all() 与find()用法完全一致，只不过查询范围不同

find_parents(),find_parent()前者返回所有祖先节点，后者返回直接父节点
find_next_siblings(),find_next_sibling()前者返回所有兄弟节点，后者返回后面第一个兄弟节点
find_previous_siblings()和find_previous_sibling()前者返回前面所有的兄弟节点，后者返回前面第一个兄弟节点
find_all_text(),find_text() 前者返回所有符合条件的节点，后者返回第一个符合条件的节点
find_all_previous() ,find_previous()前者返回节点前所有符合条件的节点，后者返回第一个符合条件的节点

3.3 CSS选择器

使用CSS选择器只需要调用select()方法，传入相应的CSS选择器即可
1）基础选择

from bs4 import BeautifulSoup
soup=BeautifulSoup(html,'lxml')
print(soup.select('.panel.panel-heading'))  ## 选择class为panel下class为panel-heading的节点
print(soup.select('ul li'))   ##选择ul节点下的li节点
print(soup.select('#list-2.element'))    ##选择id为list-2下class为element的节点内容

2）嵌套选择

for ul in soup.select('ul'):
	print(ul.select('li'))

3)获取属性

for ul in soup.select('ul'):
	print(ul['id'])  
	print(ul.attrs['id'])

获取文本
除了string以外，还可以使用get_text()方法

for li in soup.select('li'):
	print(li.get_text())
	print(li.string)

4 总结

推荐使用lxml解析库，必要时使用html.parser

节点选择筛选功能弱但是速度快

建议使用find()或者find_all()查询匹配单个结果或者多个结果

如果对CSS选择器熟悉的话，可以使用select() 方法选择