BeautifulSoup库(基于内容查找)

最新推荐文章于 2023-11-17 14:24:40 发布

the_power

最新推荐文章于 2023-11-17 14:24:40 发布

阅读量3.9k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python BeautifulSoup find()

本文链接：https://blog.youkuaiyun.com/the_power/article/details/86650142

python 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了如何使用BeautifulSoup库进行内容查找，包括通过标签、文本、正则表达式、属性以及自定义函数进行查找，并详细讲解了find()和find_all()函数的使用，以及如何查找标签间的父子、同胞及相邻关系。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

BeautifulSoup库(基于内容查找部分)

#导入库
from bs4 import BeautifulSoup

1.打开一个文件并初始化soup(练习准备)

with open('test.html','r',encoding='utf-8') as test:
    soup = BeautifulSoup(test)

注意:如果读文件报错， UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0x80 in position 34: illegal mu…有两种可能
(1) 编码设置
在第一行加上
coding:utf-8
(2) 后面处理数据时没有转码
with open("data.txt",'r',encoding='UTF-8') as data:

2. find()和find_all()

find(name,attrs,recursive,text,**wargs)

这些参数相当于过滤器一样可以进行筛选处理。不同的参数过滤可以应用到以下情况

基于name参数，查找标签
基于text参数，查找文本
recursive递归的，循环的(即是否对子孙全部检索，默认True)
基于正则表达式的查找
基于attrs参数，查找标签的属性
基于函数的查找

通过标签查找

可以传递任何标签名的名字来查找它第一次出现的地方，找到后，find函数返回一个BeautifulSoup的对象

# 查找最顶层的标签
soup.find('html')

<html>
<head>
<title>一个金字塔</title>
<meta charset="utf-8"/>
</head>
<body>
<a href="#">这是一个链接</a>
<p>这是一些段落</p>
<p>第二个段落</p>
<p>第三个段落</p>
</body>
</html>

# 查找body
soup.find('body')

<body>
<a href="#">这是一个链接</a>
<p>这是一些段落</p>
<p>第二个段落</p>
<p>第三个段落</p>
</body>

通过文本查找

直接字符串的话，查找的是标签。如果要查找文本的话，则需要用到text参数

soup.find(text = '这')

# 查找“金字塔”
soup.find(text = '这是一个链接')

'这是一个链接'

通过正则表达式查找

有的需要的东西没有标签包含，此时用正则

# 重新打开一个文件，重新初始化beatifulSoup
with open('regexp.html','r',encoding='utf-8') as html:
    soup = BeautifulSoup(html)
    print(soup)

<!DOCTYPE html>
<html>
<head>
<title>regxp表达式</title>
<meta charset="utf-8"/>
</head>
<body>renshen@126.com<p>heihei@139.com</p>
</body>
</html>

import re
#写一个正则表达式,来匹配
regexp = re.compile(r'\w+')

print(  soup.find_all(text = regexp)   )

['html', 'regxp表达式', 'renshen@126.com', 'heihei@139.com']

注意:这里只是简单的使用了正则表达式，具体使用时去查看python正则表达式部分

通过标签属性查找

soup.find(charset = 'utf-8')

<meta charset="utf-8"/>

基于定制属性查找

在attrs属性用字典传递参数

soup.find(attrs={'charset':'utf-8'})

<meta charset="utf-8"/>

注意：“charset”这里可以是自定属性

基于自定义的函数查找

可以传递函数的find()来基于函数定义的条件查找，函数必须返回True或False

def has(tag):
    return tag.has_attr('charset') and tag.get('charset') == 'utf-8'
soup.find(has)

<meta charset="utf-8"/>

注意：

这些方法可以进行组合查找
find_all()与find()用法类似，find_all()返回所有匹配结果，find()返回第一个

find_all(name,attrs,recursive,text,limit,**kwargs)

limit可以限制得到的结果数目

3.通过标签之间的关系进行查找

查找父标签

find_parents() 返回全部匹配的父标签
find_parent() 返回最近的一个父标签

# 找到一个节点
node = soup.find('p')

node.find_parents()

[<body>renshen@126.com<p>heihei@139.com</p>
 </body>, <html>
 <head>
 <title>regxp表达式</title>
 <meta charset="utf-8"/>
 </head>
 <body>renshen@126.com<p>heihei@139.com</p>
 </body>
 </html>, <!DOCTYPE html>
 <html>
 <head>
 <title>regxp表达式</title>
 <meta charset="utf-8"/>
 </head>
 <body>renshen@126.com<p>heihei@139.com</p>
 </body>
 </html>]

node.find_parent()

<body>renshen@126.com<p>heihei@139.com</p>
</body>

查找同胞

find_next_siblings()

with open('sibling.html','r',encoding='utf-8') as sibling:
    soup = BeautifulSoup(sibling)

soup

<!DOCTYPE html>
<html>
<head>
<title>查找同胞</title>
<meta charset="utf-8"/>
</head>
<body>
<ul>
<li> 列表项1 </li>
<li>  列表项2 </li>
</ul>
<ul>
<li> 列表项3 </li>
<li> 列表项4  </li>
</ul>
</body>
</html>

node = soup.find('li')
node

<li> 列表项1 </li>

node.find_next_siblings()
#输出结果将会输出与之临近的下面的所有同胞h tml代码

[<li>  列表项2 </li>]

查找下一个和上一个

node #当前节点

<li> 列表项1 </li>

find_next()找到里当前元素最近的下一个对象
find_all_next()找到与当前元素靠近的下面的所有对象

node.find_next() #最近的一个

<li>  列表项2 </li>

node.find_all_next() #最近的多个

[<li>  列表项2 </li>, <ul>
 <li> 列表项3 </li>
 <li> 列表项4  </li>
 </ul>, <li> 列表项3 </li>, <li> 列表项4  </li>]

find_previous() 最近的上一个对象
find_all_previous() 最近的所有上面的对象

node.find_previous()

<ul>
<li> 列表项1 </li>
<li>  列表项2 </li>
</ul>

node.find_all_previous()

[<ul>
 <li> 列表项1 </li>
 <li>  列表项2 </li>
 </ul>, <body>
 <ul>
 <li> 列表项1 </li>
 <li>  列表项2 </li>
 </ul>
 <ul>
 <li> 列表项3 </li>
 <li> 列表项4  </li>
 </ul>
 </body>, <meta charset="utf-8"/>, <title>查找同胞</title>, <head>
 <title>查找同胞</title>
 <meta charset="utf-8"/>
 </head>, <html>
 <head>
 <title>查找同胞</title>
 <meta charset="utf-8"/>
 </head>
 <body>
 <ul>
 <li> 列表项1 </li>
 <li>  列表项2 </li>
 </ul>
 <ul>
 <li> 列表项3 </li>
 <li> 列表项4  </li>
 </ul>
 </body>
 </html>]