python爬虫-bs4-优快云博客

本文链接：https://blog.youkuaiyun.com/2401_83817122/article/details/138031116

本文介绍了BeautifulSoup4在Python中的使用，包括安装、基础用法如解析对象、获取文本和标签内容，以及find和get方法的应用。文章重点展示了如何利用CSS选择器和正则表达式进行灵活的数据定位和提取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

BeautifulSoup4提供了强大的方法来遍历文档的节点以及根据各种条件搜索和过滤文档中的元素。你可以使用CSS选择器、正则表达式等灵活的方式来定位和提取所需的数据

安装

pip install BeautiifulSoup4

导入

from bs4 import BeautifulSoup

基础用法

解析对象

soup = BeautifulSoup('目标数据','解析器')

目前有三种主流解析器

html.parser
lxml(推荐)
html5lib

获取文本

获取文本的方法两种方式text和contents

contents：

from bs4 import BeautifulSoup

data = """
<h1>Welcome to BeautifulSoup Practice</h1>
 <div class="article">
 <h2>Article Title</h2>
 <p>This is a paragraph of text for practicing BeautifulSoup.</p>
 <a href="https://www.example.com">Link to Example Website</a>
"""
soup = BeautifulSoup(data, 'lxml')
print(soup.contents)
# 输出：
"""
[<html><body><h1>Welcome to BeautifulSoup Practice</h1>
<div class="article">
<h2>Article Title</h2>
<p>This is a paragraph of text for practicing BeautifulSoup.</p>
<a href="https://www.example.com">Link to Example Website</a>
</div></body></html>]
"""

text：

print(soup.text)
"""
Welcome to BeautifulSoup Practice

Article Title
This is a paragraph of text for practicing BeautifulSoup.
Link to Example Website
"""

Tag对象

获取HTML中的标签内容

比如<p> <div>

示例：

print(soup.h2)
# <h2>Article Title</h2>

print(soup.h2.text)
# Article Title

find参数

获取class要加下划线，因为在python中它属于关键字，除了class还可以换成任意属性名

data = """
<h1>Welcome to BeautifulSoup Practice</h1>
 <div class="article">
 <p>This is a paragraph of text for practicing BeautifulSoup.</p>
 </div>
 <div class="ex2">
 <p>This is a abcd.</p>
 </div>
"""
soup = BeautifulSoup(data, 'lxml')
print(soup.find('div', class_='article'))

获取标签属性

data = ' <p id = "apple">This is a paragraph of text for practicing BeautifulSoup.</p>'
soup = BeautifulSoup(data, 'lxml')
tag = soup.find('p')
print(tag.get('id'))
# apple

获取所有标签

soup = BeautifulSoup(data, 'lxml')
print(soup.find_all('p'))
# [<p>This is a paragraph of text for practicing BeautifulSoup.</p>, <p>This is a abcd.</p>]

print(len(soup.find_all('p')))
# 2

括号为空则获取全部标签

获取标签名

 **自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。**

![img](https://img-blog.csdnimg.cn/img_convert/3ecd3994875c38bf95a960071f152583.png)

![img](https://img-blog.csdnimg.cn/img_convert/51de05d10d13e380e919cff2cc6b9279.png)

![img](https://img-blog.csdnimg.cn/img_convert/df1ea52e75fad5372da116a1f6ccd829.png)

![img](https://img-blog.csdnimg.cn/img_convert/57130c41466a8266030c22603add14e0.png)

![img](https://img-blog.csdnimg.cn/img_convert/6c361282296f86381401c05e862fe4e9.png)

![img](https://img-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）**

g)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）**

![](https://img-blog.csdnimg.cn/img_convert/69e0e2cba020a4c57ace8d99ed7af9f8.jpeg)