python BeautifulSoup用法介绍_pythonbeautifulsoup用法-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_41858657/article/details/108889600

本文介绍了Python的BeautifulSoup库，重点讲解了选择解析器、基本用法、节点选择器（包括属性选择、嵌套选择、关联选择）以及方法选择器如find_all()和find()。还提到了CSS选择器的使用，推荐使用lxml解析库进行高效的网页抓取和信息提取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

BeautifulSoup用法介绍

1.选择解析器

直接选择lxml，在lxml中有HTML和XML的功能，速度快，容错能力强。

2.基本用法

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')        #BeautifulSoup对象初始化
print(soup.prettify())								#把要解析的字符串按标准的缩进格式输出
print(soup.titlte.string)							#输出HTML中title节点的文本内容，string属性用以获取文本内容

3选择器

3.1 节点选择器

优点：通过属性直接进行选择，非常快速。
弊端：当有多个节点时，这种选择方式只会选择到第一个匹配的点，其他的后面节点都会忽略。

3.1.1 选择元素

from bs4 import BeautifulSoup
soup=BeautifulSoup(html,'lxml')
print(soup.title)
print(type(soup.title))   #获取数据类型  
print(soup.title.string)   #获取文本的值
print(soup.head)
print(soup.p)     # 选择p节点

上面获取的数据类型为bs4.element.Tag类型，是BeautifulSoup中的一个重要数据结构。Tag具有一些属性，比如string属性，调用该属性，可以获取节点的文本内容，接下来的输出结果正是节点的文本内容。

3.1.2 提取信息

1）获取名称

print(soup.title.name)

获取属性
利用attrs取属性值

print (soup.p.attrs)
print(soup.p.attrs['name'])

或者直接取用在节点后用[]取用

print(soup.p['name'])
print(soup.p['class'])