BeautifulSoup库使用方法

最新推荐文章于 2025-04-20 15:18:40 发布
最新推荐文章于 2025-04-20 15:18:40 发布
阅读量785 收藏 4
点赞数
分类专栏： 网络爬虫 文章标签： beautifulsoup python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44097009/article/details/130026677
版权

文章目录

一、Beautiful Soup的简介

Beautiful Soup是python的⼀个库，最主要的功能是从⽹⻚抓取数据,官⽅解释如下：

  • Beautiful Soup提供⼀些简单的、python式的函数⽤来处理导航、搜索、修改分析树等功能。它是⼀个⼯具箱，通过解析⽂档为⽤户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出⼀个完整的应⽤程序。
  • Beautiful Soup⾃动将输⼊⽂档转换为Unicode编码，输出⽂档转换为utf-8编码。你不需要考虑编码⽅式，除⾮⽂档没有指定⼀个编码⽅式，这时，Beautiful Soup就不能⾃动识别编码⽅式了。然后，你仅仅需要说明⼀下原始编码⽅式就可以了。
  • Beautiful Soup已成为和lxml⼀样出⾊的python解释器，为⽤户灵活地提供不同的解析策略或强劲的速度。
    和lxml⼀样，BeautifulSoup也是⼀个HTML/XML的解析器，主要功能也是如何解析和提取HTML/XML数据。
    lxml只会局部遍历，⽽BeautifulSoup是基于HTML DOM的，会载⼊整个⽂档，解析整个DOM树，因此时间和内存开销都会很⼤，所以性能要低于lxml。
    BeautifulSoup⽤来解析HTML⽐较简单，⽀持CSS选择器，Python标准库中的HTML解析器，也⽀持lxml的XML解析器。

1、BeautifulSoup安装

pip install bs4

2、解析工具对比

抓取工具速度使用难度
正则最快困难
lxml快简单
BeautifulSoup慢最简单

二、BeautifulSoup的使用

# 导入
from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

# 创建Beautiful Soup对象
soup = BeautifulSoup(html_doc, 'html.parser')

print(type(soup))

print(soup)

# 格式化输出对象的内容
print(soup.prettify())

1、解析器

解析器使用方法优势劣势
Python标准库BeautifulSoup(markup, “html.parser”)1. Python的内置标准库2.执⾏速度适中3.⽂档容错能⼒强Python 2.7.3 or3.2.2)前 的版本中⽂档容错能⼒差
lxml HTML 解析器BeautifulSoup(markup, “lxml”)1.速度快 2.⽂档容错能⼒强需要安装C语⾔库

2、搜索⽂档树

Beautiful Soup定义了很多搜索⽅法,这⾥着重介绍2个: find() 和 find_all() .其它⽅法的参数和⽤法类似


from bs4 import BeautifulSoup

html_doc = """
<table class="tablelist" cellspacing="0" cellpadding="0">
    <tbody>
        <tr class="h">
            <td class="1" width="374">职位名称</td>
            <td>职位类别</td>
            <td>人数</td>
            <td>地点</td>
            <td>发布时间</td>
        </tr>
        <tr class="even">
            <td class="l"><a href="https://www.baidu.com">区块链高级研发工程师</a></td>
            <td class="l">技术类</td>
            <td class="l">1</td>
            <td class="l">深圳</td>
            <td class="l">2018-11-25</td>
        </tr>
        <tr class="even">
            <td><a href="https://www.qq.com">金融云高级后台开发</a></td>
            <td>技术类</td>
            <td>2</td>
            <td>深圳</td>
            <td>2018-11-24</td>
        </tr>
        <tr>
            <td><a href="https://www.juran.com">高级研发工程师</a></td>
            <td>技术类</td>
            <td>2</td>
            <td>深圳</td>
            <td>2018-11-24</td>
        </tr>
        <tr>
            <td><a href="https://www.python.com">高级图像算法工程师</a></td>
            <td>技术类</td>
            <td>2</td>
            <td>深圳</td>
            <td>2018-11-24</td>
        </tr>
        <tr>
            <td><a href="https://www.lg.com" id="test" class="test">高级业务运维工程师</a></td>
            <td>技术类</td>
            <td>2</td>
            <td>深圳</td>
            <td>2018-11-24</td>
        </tr>
    </tbody>
</table>
"""

soup = BeautifulSoup(html_doc, 'lxml')
# print(type(soup))
# tr = soup.find('tr')
# print(tr.contents)
# print(list(tr.children))
tdf = soup.find('td').parent
print(tdf)

# 1.获取所有tr标签
# trs = soup.find_all('tr')
# trs = soup.find('tr')
# print(trs)
# 返回的是list
# print(trs)
# for tr in trs:
#     print(tr)
    # print(type(tr))
    # print("="*30)

# 2.获取第2个tr标签
# tr = soup.find_all('tr', limit=2)[1]
# print(tr)

# 3.获取所有class等于even的tr标签
# trs = soup.find_all('tr', class_='even')
# trs = soup.find_all('tr', attrs={"class": 'even'})
# for tr in trs:
#     print(tr)
#     print("="*30)

# 4.将所有id等于test,class也等于test的a标签提取出来
# alist = soup.find_all('a', attrs={"id": "test", "class": "test"})
# alist = soup.find_all('a', id="test", class_="test")
# print(alist)

# 5.获取所有的a标签的href属性
# hrefs = soup.find_all('a')
# for a in hrefs:
    # print(a)
    # 1.通过下表的方式
    # href = a['hrefs']
    # 如果没有取到返回None
    # href = a.get('hrefs')
    # print(href)
    # 2.通过attrs属性的方式
    # href = a.attrs['hrefs']
    # print(href)

# 6.获取所有的职位信息(纯文本)
# trs = soup.find_all('tr')[1:]
# for tr in trs:
    # print(tr)
    # tds = tr.find_all('td')
    # print(tds)
    # title = tds[0]
    # print(title.string)

    # 获取tr标签的所有文本
    # infos = list(tr.strings)
    # print(infos)

    # 可以去除空格取纯文本
    # infos = list(tr.stripped_strings)
    # print(infos[0])

3、CSS常⽤选择器介绍

  • 通过标签名查找
print(soup.select('a'))
  • 通过类名查找
print(soup.select('.sister')) #查找class=sister的标签
  • 通过id查找
print(soup.select("#link1"))
  • 组合查找
    组合查找即和写 class ⽂件时，标签名与类名、id名进⾏的组合原理是⼀样的，例如查找 p 标签中，id 等于 link1的内容，⼆者需要⽤空格分开：
print(soup.select("p #link1"))
  • 直接⼦标签查找，则使⽤ > 分隔：
print(soup.select("head > title"))
  • 通过属性查找
print(soup.select('a[href="http://example.com/elsie"]'))
  • 获取内容
    以上的 select ⽅法返回的结果都是列表形式，可以遍历形式输出，然后⽤get_text() ⽅法来获取它的内容。

4、select和css选择器提取元素


from bs4 import BeautifulSoup

html_doc = """
<table class="tablelist" cellspacing="0" cellpadding="0">
    <tbody>
        <tr class="h">
            <td class="1" width="374">职位名称</td>
            <td>职位类别</td>
            <td>人数</td>
            <td>地点</td>
            <td>发布时间</td>
        </tr>
        <tr class="even">
            <td class="l"><a href="https://www.baidu.com">区块链高级研发工程师</a></td>
            <td class="l">技术类</td>
            <td class="l">1</td>
            <td class="l">深圳</td>
            <td class="l">2018-11-25</td>
        </tr>
        <tr>
            <td><a href="https://www.qq.com">金融云高级后台开发</a></td>
            <td>技术类</td>
            <td>2</td>
            <td>深圳</td>
            <td>2018-11-24</td>
        </tr>
        <tr>
            <td><a href="https://www.juran.com">高级研发工程师</a></td>
            <td>技术类</td>
            <td>2</td>
            <td>深圳</td>
            <td>2018-11-24</td>
        </tr>
        <tr>
            <td><a href="https://www.python.com">高级图像算法工程师</a></td>
            <td>技术类</td>
            <td>2</td>
            <td>深圳</td>
            <td>2018-11-24</td>
        </tr>
        <tr>
            <td><a href="https://www.lg.com" id="test" class="test">高级业务运维工程师</a></td>
            <td>技术类</td>
            <td>2</td>
            <td>深圳</td>
            <td>2018-11-24</td>
        </tr>
    </tbody>
</table>
"""

soup = BeautifulSoup(html_doc, 'lxml')

# 1.获取所有tr标签
trs = soup.select('tr')
# print(trs)

# 2.获取第2个tr标签
# tr = soup.select('tr')[1]
# print(tr)

# 3.获取所有class等于even的tr标签
# tr = soup.select('tr.even')
# print(tr)

# 4.获取所有的a标签的href属性
# alist = soup.select('a')
# for a in alist:
#     href = a.get('href')
#     print(href)

# 5.获取所有的职位信息(纯文本)
trs = soup.select('tr')

for tr in trs:
    infos = list(tr.stripped_strings)
    print(infos)

5、BeautifulSoup4四大对象种类

BeautifulSoup4将复杂HTML⽂档转换成⼀个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:

  • Tag
  • NavigableString
  • BeautifulSoup
  • Comment

遍历文档树

contents和children

  • contents返回所有⼦节点的列表
  • children返回所有⼦节点的迭代器
Python：BeautifulSoup库介绍
不怕猫的耗子A
05-12 2336
1、BeautifulSoup是Python中的一个第三方库，其最主要的功能是处理HTML文档⑴查找HTML文档中的指定标签⑵获取HTML文档中指定标签的标签名、标签值、标签属性等⑶修改HTML文档中指定标签2、BeautifulSoup库将HTML文档解析为一个对象，使用该对象方法能很方便的获取HTML文档中的数据3、BeautifulSoup库也可以用来处理XML文档。
BeautifulSoup库用法总结
weixin_41082042的博客
01-27 5718
BeautifulSoup库用法总结第1步、解析网页 有四种解析方式： （1）‘html.parser’解析 速度适中，容错能力强 （2）’lxml’解析 速度快，容错能力强 （3）’xml’解析 速度快，唯一支持xml的解析器 （4）’html5lib’解析 速度慢点，最好的容错性 第2步、从网页找自己想要的东西的方法 主要有： 一、搜索文档树 （1）find()
python beautiful soup库的用法
weixin_34127717的博客
03-09 3313
参考：http://cuiqingcai.com/1319.html Beautiful Soup 4.2.0 文档 1. Beautiful Soup 简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索...
BeautifulSoup 库的使用——python爬虫
最新发布
qq_56109699的博客
04-20 1841
本文主要介绍了python爬虫中的BeautifulSoup库的安装和使用,包括它如何解析html代码，如何查找元素等
beautifulSoup的使用
altman_dior的博客
10-29 397
BeautifulSoup 库最常用的对象恰好就是 BeautifulSoup 对象。 from urllib.request import urlopen from bs4 import BeautifulSoup html = urlopen("http://www.pythonscraping.com/pages/page1.html") bsObj = BeautifulSoup(htm
BeautifulSoup库的使用
专注于Python编程技术的分享与交流，致力于帮助开发者提升编程技能，解决实际问题，探索Python的无限可能。
08-13 2574
BeautifulSoup库是python中常用的的网页解析库，灵活，高效，支持多种解析器。可以很方便地实现网页信息的提取。
BeautifulSoup的用法
Lemon_Review的博客
12-06 474
BeautifulSoup的用法 beautifulSoup是一个灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便地实现网页信息的提取。 安装 通过指令: pip install beautifulsoup4 或者在pycharm第三方库安装页面中搜索安装beautifulsoup4即可。 使用 解析库 解析器 使用方法 优势 劣势 Python标准库 BeautifulSoup(markup, ‘html.parser’) Python的内置标准库、执行速
Python使用BeautifulSoup库解析HTML基本使用教程
09-21
### Python使用BeautifulSoup库解析HTML基本使用教程 #### 概述 在当今互联网时代，从网页上抓取数据成为了一项重要的技能。Python作为一种强大的编程语言，提供了多种库来实现这一目的，其中BeautifulSoup是最为...
python爬虫之BeautifulSoup 使用select方法详解
09-21
### Python爬虫之BeautifulSoup使用select方法详解 在Python网络爬虫开发中，`BeautifulSoup`库因其简单易用的特点而被广泛应用于HTML和XML文档的解析与处理。`select`方法作为`BeautifulSoup`中一种强大的选择器，...
使用Python的BeautifulSoup库进行网页解析爬虫和数据提取.txt
08-17
### 使用Python的BeautifulSoup库进行网页解析爬虫和数据提取 #### 一、概述 在当前互联网信息爆炸的时代，能够高效地从网页中提取所需信息成为了一项重要的技能。Python作为一种广泛使用的编程语言，提供了多种...
BeautifulSoup库的基本使用
m0_46926492的博客
10-23 3098
【代码】BeautifulSoup库的基本使用。
BeautifulSoup库的用法详解
热门推荐
天涯笨熊的博客
11-27 11万+
BeautifulSoup库是灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便地实现网页信息的提取。 BeautifulSoup库的安装，可参见博客：http://blog.youkuaiyun.com/qq_29186489/article/details/78581249
BeautifulSoup的使用与入门
qq_46433748的博客
02-21 2338
它支持多种解析器，包括python标准库、lxml HTML解析器、lxml XML解析器、html5lib等。结合稳定性和速度，这里推荐使用lxml HTML解析器。如果lxml不能正确解析内容，这是可以使用html5lib。
beautifulsoup的简单使用
qq_45726327的博客
08-12 1411
我们在写 CSS 时，标签名不加任何修饰，类名前加点，id名前加 #，在这里我们也可以利用类似的方法来筛选元素，用到的方法是 **soup.select()，**返回类型是。如果属性字典中的键值对完全匹配一个标签的属性，则该标签会被返回。组合查找即和写 class 文件时，标签名与类名、id名进行的组合原理是一样的，例如查找 p 标签中，id 等于 link1的内容，二者需要用空格分开。如果一个指定名字的参数不是搜索内置的参数名,搜索时会把该参数当作指定名字tag的属性来搜索,如果包含一个名字为。
Beautiful Soup 基本使用方法
songshao の blog
06-06 6万+
我们就来介绍一个强大的解析工具Beautiful Soup，它借助网页的结构和属性等特性来解析网页。有了它，我们不用再去写一些复杂的正则表达式，只需要简单的几条语句，就可以完成网页中某个元素的提取。 1、简介 简单来说，Beautiful Soup就是Python的一个HTML或XML的解析库，可以用它来方便地从网页中提取数据。官方解释如下： Beautiful Soup提供一些简单的、Py...
BeautifulSoup的使用
zsewer的博客
02-25 751
使用BeautifulSoup解析代码,能够得到一个 BeautifulSoup 的对象,并能按照标准的缩进格式的结构输出 。本文主要介绍了BeautifulSoup的基础使用方法。
BeautifulSoup基本使用
weixin_43788986的博客
07-22 416
本博客主要是基于崔庆才大佬编写的python3网络爬虫开发实战和BeautifulSoup的官方文档进行学习总结的。这是爱丽丝梦游仙境的的一段内容
python模块——Beautiful Soup模块(bs4)
Thunderclap的博客
02-09 793
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.prettify() 方法将Beautiful Soup的文档树格式化后以Unicode编码输出,每个XML/HTML标签都独占一行。#获取Tag，通俗点就是HTML中的一个个标签。
BeautifulSoup 库基本方法
08-30
BeautifulSoup是一个Python库，用于从HTML和XML文档中提取结构化的数据。它主要用于网页抓取和数据挖掘。以下是BeautifulSoup库的一些基本方法： 1. **初始化**：首先，你需要创建一个BeautifulSoup对象，通常通过`soup = BeautifulSoup(html_content, 'html.parser')`完成，其中`html_content`是待解析的HTML字符串，`parser`指定解析器。 2. **find()**: 这是最常用的方法之一，用于查找第一个匹配特定标签或属性的元素。例如：`element = soup.find('div', {'class': 'my-class'})`。 3. **find_all()**: 查找所有匹配的元素，并返回一个包含这些元素的列表。如果需要筛选结果，可以传递额外条件，如`elements = soup.find_all('a', href=True)`。 4. **select()**: 使用CSS选择器语法来搜索元素，这比`.find()`更灵活。例如：`links = soup.select('a[href^="http"]')`。 5. **Navigating Elements**: 可以通过访问元素的`children`, `parent`, `next_sibling`等属性，或者使用`.descendants`、`.ancestors`等方法导航文档结构。 6. **Modifying Elements**: 可以对找到的元素进行修改，比如替换文本、添加新元素等。 7. **String Methods**: BeautifulSoup还提供了一些字符串方法，如`get_text()`获取元素内的文本内容，`stripped_strings`获取去掉空格的文本。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值