25、网页数据抓取：从 Beautiful Soup 到 lxml 与 XPath 的进阶

网页数据抓取：从 Beautiful Soup 到 lxml 与 XPath 的进阶

在网页数据抓取的领域中，我们常常需要从 HTML 页面中提取有用的信息。最初，我们可能会使用一些基础的方法和工具，随着需求的增加和页面复杂度的提升，就需要更强大的工具和技术。

基础数据提取方法

在提取元素属性时，我们可以使用 get 方法。例如，对于 <a href="http://foo.com">Foo</a> 这样的元素，如果想提取链接，调用 .get("href") 就能返回 href 的值，即 http://foo.com 。而提取段落文本时，使用 get_text 方法，并结合 find_all 方法返回的段落进行迭代。以下是一个示例代码：

# 假设 soup 是 BeautifulSoup 对象
paragraphs = soup.find_all('p')
paragraph_texts = [p.get_text() for p in paragraphs]

通过这些方法，我们可以将页面数据以更有组织的形式存储。将所有数据存储在 all_data 变量中，每个数据条目都存储在一个字典里，键值对应清晰。使用新方法（如 get 和 get_text ）可以更清晰地从页面中抓