Python爬虫第5课 BeautifulSoup用法详解

最新推荐文章于 2025-07-02 13:31:46 发布

黎明前最后的黑暗

最新推荐文章于 2025-07-02 13:31:46 发布

阅读量1.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Python爬虫 Python学习文章标签： Python爬虫学习 beautifulsoup

本文链接：https://blog.youkuaiyun.com/weixin_42057995/article/details/89517220

本文详细介绍了Python爬虫库BeautifulSoup的使用，包括安装、解析库的基本使用、标签选择器、标准选择器以及CSS选择器。重点讲解了find_all、find、select等方法，并给出了各种节点关系的选择技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

BeautifulSoup

BeautifulSoup是一个灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便的实现网页信息的提取。

01.BeautifulSoup的安装

安装方式：pip3 install beautifulsoup4
还有不会安装的请看下方博文：
beautifulsoup安装教程

02.BeautifulSoup详解

2.1 解析库

解析器	使用方法	优势	劣势
Python标准库	BeautifulSoup(markup, “html.parser”)	Python的内置标准库、执行速度适中、文档容错能力强	Python2.7.3或3.2.2前的版本中文容错能力差
lxml HTML解析器	BeautifulSoup(markup,“lxml”)	速度快、文档容错力强	需要安装C语言库
lxml XML解析器	BeautifulSoup(markup,“xml”)	速度快、唯一支持xml的解析器	需要安装C语言库
html5lib	BeautifulSoup(markup,“html5lib”)	最好的容错性、以浏览器的方式解析文档、生成HTML5格式的文档	速度慢、不依赖外部扩展

基本使用

from bs4 import BeautifulSoup

html = '''
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
'''
soup = BeautifulSoup(html, 'lxml')
# 用来格式化代码，自动补全不完整的HTML代码
print(soup.prettify())
# 获取title标签
print(soup.title)
# title标签的名字
print(soup.title.name)
# title标签的内容
print(soup.title.string)

2.2 标签选择器

（1）选择元素

from bs4 import BeautifulSoup

html = '''
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
'''
# 声明soup对象
soup = BeautifulSoup(html, 'lxml')
# 获取title标签
print(soup.title)
# title标签类型
print(type(soup.title))
# 获取head标签
print(soup.head)
# 获取p标签，只输出第一个匹配结果
print(soup.p)

（2）获取名称

from bs4 import BeautifulSoup

html = '''
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little