4、网页数据采集与提取：Beautiful Soup、XPath和CSS选择器

网页数据采集与提取：Beautiful Soup、XPath和CSS选择器

在网页数据采集与提取的过程中，我们常常需要从HTML文档中精准地获取所需的数据。本文将详细介绍使用Beautiful Soup、XPath和CSS选择器来实现这一目标的方法。

1. Beautiful Soup的使用

Beautiful Soup是一个强大的Python库，它可以将网页的HTML转换为自己的内部表示，这种表示与浏览器创建的DOM（文档对象模型）相同。它提供了许多强大的功能，用于导航DOM中的元素。

1.1 基本原理

Beautiful Soup将HTML页面转换为其内部表示，类似于浏览器创建的DOM。我们可以使用标签名作为属性来查找元素，例如：

import requests
from bs4 import BeautifulSoup
html = requests.get("http://localhost:8080/planets.html").text
soup = BeautifulSoup(html, "lxml")

1.2 使用find方法查找元素

使用Beautiful Soup的find方法可以进行简单的DOM搜索，这些方法提供了更灵活和强大的元素查找方式，不依赖于元素的层次结构。

• 查找表格 ：

table = soup.find("table