27、Python 网络爬虫与库的使用指南

Python 网络爬虫与库的使用指南

1. 网络爬虫基础

1.1 借助生成式 AI 编写网络爬虫代码

生成式 AI 可以为你编写通用的网络爬虫代码，这样你就无需记住所有的语法。你可以向 Copilot 或 Claude.ai 请求编写使用 BeautifulSoup 进行网站抓取的 Python 代码，这将为你提供抓取页面的基本代码。之后，你需要指定一个 URL，并调整代码以从页面中检索你需要的内容。

1.2 解析页面部分内容

大多数网页包含大量用于页眉、页脚、侧边栏、广告等的代码，而主要内容通常只在一个部分。如果你能识别出该部分，解析代码的运行速度会更快。例如，在自定义的网页中，将所有主要内容放在一对 <article> ... </article> 标签之间。以下代码将该代码块分配给名为 content 的变量，后续代码将只解析页面的这一部分，从而提高速度和准确性：

# Isolate the main content block.
content = soup.article

1.3 存储解析后的内容

在抓取网页时，通常的目标是收集特定的感兴趣的数据。这里我们只需要多个链接的 URL、图像源和文本。可以将这些数据存储在列表中，以下代码创建了一个名为 links_list 的空列表：

# Create an emp