爬虫通过验证码框架selenium的简单使用

Selenium 浏览器自动化项目

Selenium（Selenium 浏览器自动化项目 | Selenium） 是支持 web 浏览器自动化的一系列工具和库的综合项目。

它提供了扩展来模拟用户与浏览器的交互，用于扩展浏览器分配的分发服务器， 以及用于实现 W3C WebDriver 规范 的基础结构， 该 规范 允许您为所有主要 Web 浏览器编写可互换的代码。

爬虫要通过验证码，需要使用selenium这样的框架，模拟人的操作，来通过验证码，或者说是破解验证码。

chromedriver是谷歌浏览器自动化驱动器

chromedriver是一种WebDriver，chromedriver是一个开源工具，用于在许多浏览器中自动测试网络应用程序。它提供了导航到网页、用户输入、JavaScript执行等功能。ChromeDriver是一个实现W3C WebDriver标准的独立服务器。ChromeDriver可用于Android上的Chrome和桌面上的Chrome（Mac、Linux、Windows和ChromeOS）。

chromedriver需要对应Chrome的版本来安装，目前最新的谷歌浏览器是118版本的。最新版谷歌浏览器118版本的chrome下载链接：https://download.youkuaiyun.com/download/andux/88465081

所以也需要安装118版本的ChromeDriver:

下载链接：Chrome for Testing availability

测试使用selenium

下载好后解压压缩包，把exe文件放到py项目中，或者放到自己知道的一个路径中。

app.py:

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time

service = Service(executable_path="./driver/chromedriver.exe")
driver = webdriver.Chrome(service=service)
url = "https://www.cheshi.com/"
driver.get(url=url)
with open("./tem.html", "w", encoding="utf-8") as f:
    f.write(driver.page_source)
driver.save_screenshot("./tmp.png")
time.sleep(2)
driver.quit()

在pycharm中设置好启动的浏览器为chrome，或者把谷歌浏览器设置为默认浏览器，

这样使用chromedriver.exe就能驱动chrome打开指定的链接了。chrome浏览器会自动打开，执行代码，保存为网页tem.html和tmp.png图片，过2秒钟自动关闭刚才自动打开的chrome浏览器。