无界面Ubuntu服务器搭建selenium+chromedriver+VNC运行环境

本文介绍了如何在无界面的Ubuntu服务器上搭建selenium+chromedriver的爬虫运行环境,并通过VNC实现远程可视化调试。首先,安装Google Chrome和其依赖,接着配置并启动Xvfb虚拟显示器。然后,安装VNC服务器并设置密码,通过VNC客户端可以实时查看服务器的运行情况。最后,强调线上运行时可以关闭VNC以节省资源。

搭建背景

  • 有时候我们需要把基于selenium的爬虫放到服务器上跑的时候,就需要这样一套运行环境,其中VNC是虚拟的显示模式,用于排查定位线上问题以及实时运行情况。

搭建流程

  1. 安装虚拟输出设备:sudo apt-get install xvfb
  2. 下载google-chrome-stable deb包,由于网上大部分链接没法下载,我这里下载了一个上传到github上了,wget https://raw.githubusercontent.com/wycm/md-image/master/2019-03-14/google-chrome-stable_69.0.3497.100-1_amd64.deb
  3. 安装:sudo dpkg -i google-chrome-stable_69.0.3497.100-1_amd64.deb
  4. 安装对应依赖:apt-get -f install
  5. 下载对应的chromedriver,wget https://raw.githubusercontent.com/wycm/md-image/master/2019-03-14/chromedriver_linux64.zip
  6. 解压:unzip chromedriver_linux64.zip
  7. 启动虚拟化输出设备Xvfb :99 -ac -screen 0 1280x1024x24 &
  8. 设置输出设备:export DISPLAY=:99
  9. 执行chrome.py脚步(需要安装:selenium:pip install selenium),代码如下:
    from selenium import webdriver
    
### 一、SeleniumChromedriver简介 Selenium 是一种用于自动化浏览器操作的工具,广泛应用于 Web 应用程序的功能测试和性能测试。ChromeDriver 是一个独立的可执行文件,用于控制 Google Chrome 浏览器实例,使 Selenium 能够与 Chrome 浏览器交互[^1]。 ### 二、安与配置步骤 #### 1. 安 Selenium 确保系统中已安 Python 环境后,可以通过以下命令安 Selenium: ```bash pip install selenium ``` #### 2. 查看 Chrome 浏览器版本 在安 ChromeDriver 之前,需要确认本地安Chrome 浏览器版本。打开 Chrome 浏览器,进入设置页面,点击“关于 Chrome”,即可查看当前版本号[^3]。 #### 3. 下载并配置 ChromeDriver 根据 Chrome 浏览器的版本号,从官方下载地址下载对应的 ChromeDriver 版本[^4]: ```bash wget http://chromedriver.storage.googleapis.com/<version>/chromedriver_linux64.zip unzip chromedriver_linux64.zip ``` 将解压后的 `chromedriver` 文件移动到系统的 PATH 环境变量路径下,例如 `/usr/local/bin`,以确保全局可用[^1]。 #### 4. 配置环境变量 如果未将 ChromeDriver 添加到系统 PATH 中,则需要在代码中指定其路径。例如: ```python from selenium import webdriver driver = webdriver.Chrome(executable_path='/path/to/chromedriver') driver.get("https://www.baidu.com") ``` ### 三、使用示例 以下是一个简单的 Selenium 自动化测试代码示例,演示如何打开百度首页并搜索关键词[^2]: ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys # 初始化 Chrome 浏览器驱动 driver = webdriver.Chrome() try: # 打开百度首页 driver.get("https://www.baidu.com") # 定位搜索框并输入关键词 search_box = driver.find_element(By.ID, "kw") search_box.send_keys("Selenium Chromedriver") search_box.send_keys(Keys.RETURN) # 等待页面加载完成 driver.implicitly_wait(10) finally: # 关闭浏览器 driver.quit() ``` ### 四、高级配置 为了增强 Selenium 的功能或兼容性,可以使用 `DesiredCapabilities` 和 `ChromeOptions` 进行更精细的配置[^3]。例如,在无头模式(Headless Mode)下运行 Chrome 浏览器: ```python from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.chrome.options import Options # 设置 Chrome 选项 chrome_options = Options() chrome_options.add_argument("--headless") # 无头模式 chrome_options.add_argument("--disable-gpu") # 禁用 GPU 加速 # 指定 ChromeDriver 路径 service = Service('/path/to/chromedriver') # 初始化 WebDriver driver = webdriver.Chrome(service=service, options=chrome_options) # 访问网页 driver.get("https://www.baidu.com") print(driver.title) # 关闭浏览器 driver.quit() ``` ### 五、常见问题及解决方法 1. **ChromeDriver 版本不匹配**:确保 ChromeDriver 的版本与本地 Chrome 浏览器版本一致[^4]。 2. **无法找到 ChromeDriver**:检查是否正确设置了 PATH 环境变量或是否在代码中指定了正确的路径。 3. **无头模式报错**:在某些系统上可能需要额外参数,例如 `--no-sandbox` 或 `--disable-dev-shm-usage`。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值