2020-11-20 python 基于bs4库的HTML内容遍历方法

最新推荐文章于 2023-01-31 17:27:57 发布

原创最新推荐文章于 2023-01-31 17:27:57 发布 · 188 阅读

0 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

14 篇文章

订阅专栏

本文介绍如何使用BeautifulSoup库中的BS4进行标签树的下行遍历和平行遍历，包括子节点、兄弟节点的获取及遍历方法，并演示了如何通过Python代码实现这些功能。

标签树的下行遍历

属性	说明
.contents	子节点的列表，将<tag>所有儿子节点存入列表
.children	子节点的迭代类型，与.contents类似，用于循环遍历儿子节点
.descedants	子节点的迭代类型，包含所有子孙节点，用于循环遍历

from bs4 import BeautifulSoup
import requests
cont = requests.get("https://www.opticres.com")
soup = BeautifulSoup(cont.text,'html.parser')
print(soup.title)

平行遍历--发生在同一个父节点下的各个节点间

属性	说明
.next_sibling	返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling	返回按照HTML文本顺序的上一个平行节点标签
.next_siblings	迭代类型，返回按照HTML文本顺序的后续所有平行节点标签
.previous_siblings	迭代类型，返回按照HTML文本顺序的前序所有平行节点标签

from bs4 import BeautifulSoup
import requests
cont = requests.get("https://www.opticres.com")
soup = BeautifulSoup(cont.text,'html.parser')
print(soup.a.next_sibling.next_sibling)
print(soup.a.previous.next_sibling)

bs4库的prettify()方法

from bs4 import BeautifulSoup
import requests
r = requests.get("https://www.baidu.com")
demo = r.text
print(demo)
soup = BeautifulSoup(demo,"html.parser")
print(soup.prettify())

规范化输出