Python爬虫之BeautifulSoup模块

最新推荐文章于 2024-06-19 10:36:05 发布

阿福不是狗

最新推荐文章于 2024-06-19 10:36:05 发布

阅读量2.4k

点赞数 42

分类专栏：网络爬虫文章标签： python 爬虫 beautifulsoup

本文链接：https://blog.youkuaiyun.com/lzf9651/article/details/139467032

版权

Python爬虫之BeautifulSoup模块

在网络爬虫的世界里，获取网页内容只是第一步。真正的挑战在于从HTML的大海中提取出你需要的信息。这就是BeautifulSoup发光发热的地方。作为Python中最受欢迎的HTML解析库之一，BeautifulSoup以其强大的功能和易用性赢得了众多开发者的青睐。

什么是BeautifulSoup？

BeautifulSoup是一个Python库，专门用于从HTML和XML文件中提取数据。它的名字来源于一个古老的笑话：“一天，有人说：‘我做了一碗美丽的汤。这是最美的汤。在这碗汤里，我把所有漂亮的东西都放进去了。’”——就像这碗"汤"一样，BeautifulSoup将所有的HTML元素都放进一个整洁的数据结构中，让你轻松地找到并提取任何你需要的"配料"。

强大：可以处理杂乱、不规范的HTML。
灵活：支持多种解析器，如lxml、html.parser、html5lib等。
直观：使用类似于CSS选择器和正则表达式的方法来查找和操作元素。
流行：在GitHub上拥有超过10,000颗星，是爬虫开发者的首选工具之一。

安装和基本使用

安装BeautifulSoup非常简单：

pip install beautifulsoup4

让我们从一个简单的例子开始：

from bs4 import BeautifulSoup

html_doc = """
<html>
  <head><title>我的博客</title></head>
  <body>
    <h1>欢迎来到我的博客</h1>
    <p class="intro">这是一个关于Python的博客。</p>
    <div id="posts">
      <h2>最新文章</h2>
      <ul>
        <li><a href="/bs4">BeautifulSoup教程</a></li>
        <li><a href="/flask">Flask入门</a></li>
      </ul>
    </div>
  </body>
</html>
"""

soup = BeautifulSoup(html_doc, 'html.parser')

# 打印网页标题
print(soup.title.string)  # 输出: 我的博客

# 找到第一个 <p> 标签
print(soup.p.string)  # 输出: 这是一个关于Python的博客。

# 找到所有的链接
for link in soup.find_all('a'):
    print(link.get('href'))  # 输出: /bs4 和 /flask

导航DOM树

BeautifulSoup将HTML解析为一个树状结构，这使得导航变得非常直观：

.contents：获取一个元素的直接子元素列表。
.children：子元素的迭代器，适合大文档。
.parent：获取一个元素的父元素。
.next_sibling & .previous_sibling：在同级元素中导航。

# 查找h1的父元素
body = soup.h1.parent
print(body.name

最低0.47元/天解锁文章