python—selenium爬虫

Selenium爬虫与Requests在多个方面存在显著差异，这些差异主要体现在它们的工作原理、功能特点、适用场景以及性能表现上。在某些情况下，我们使用Selenium爬取文本内容更好，这里我们先将其与Requests进行对比。

Selenium与Requests对比

一、工作原理

Requests：

• Requests是一个HTTP库，用于发送各种HTTP请求（如GET、POST等）。
• 它直接发送HTTP请求到服务器，并接收服务器的响应，不涉及浏览器环境的模拟。
  Selenium：
• Selenium是一个自动化测试工具，通过控制浏览器来模拟用户的各种行为，如点击、滚动、填写表单等。
• 它通过浏览器驱动程序与浏览器进行交互。

二、功能特点

Requests：

• 简单、快速、轻量级，易于使用和集成。
• 主要用于发送HTTP请求和接收响应，适用于静态网页内容的抓取。
• 不具备浏览器自动化功能。

Selenium：

• 功能强大，能够模拟用户与浏览器的所有交互行为。
• 适用于动态网页、单页面应用（SPA）以及需要用户交互的网页内容的抓取。

三、性能表现

Requests：

• 由于不加载JavaScript或CSS等资源，响应时间更短，资源消耗更少。
• 在处理静态网页内容时，性能表现优异。

Selenium：

• 需要加载完整的页面资源，因此速度相对较慢。
• 占用更多的CPU和内存资源，特别是在处理多个浏览器实例或并发请求时。
  综上所述，Selenium爬虫与Requests在多个方面存在显著差异。选择哪个工具取决于具体的项目需求、网页类型以及性能要求。对于简单的静态网页内容抓取，Requests可能是更合适的选择；而对于复杂的动态网页、需要用户交互的网页或Web应用程序的抓取，Selenium则更具优势。

下载对应驱动

在使用Selenium之前，我们需要先下载对应浏览器的驱动程序（如 Edge 驱动程序）来与浏览器进行交互。下面我们讲解如何安装驱动。

1.首先我们需要打开edge浏览器，打开设置，找到“关于Microsoft Edge”，点击进入查看浏览器版本。

图例：

2.查找版本之后，搜索edge驱动下载，进入下载页面，选择对应的版本下载就可以。

图例：

下载完成之后，将文件放在含有python的文件夹内（注意一定要放在一个文件夹下），这样我们就可以使用Selenium爬取脚本了。

使用Selenium爬取脚本实例

下面我们使用Selenium库和Edge浏览器࿰