【爬虫】Linux上使用selenium + chrome + xvfb 实现无界面的网页截图

最新推荐文章于 2025-05-10 16:03:42 发布
最新推荐文章于 2025-05-10 16:03:42 发布
阅读量2.8k 收藏 9
点赞数
CC 4.0 BY-SA版权
分类专栏： 【爬虫】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Teemo2020/article/details/103807394

前言

本问介绍一种在无桌面（无 X server）的linux系统下，不用打开浏览器就可以完成网页页面截图的方法，之前多数用的是PhantomJS + Selenium的方法，但是我使用 PhantomJS + Selenium 时报错：

Selenium support for PhantomJS has been deprecated, please use
headless

原来是二者已分手，我们只能使用另一种方法，提供一个虚拟的界面。


安装xvfb以及pyvirtualdisplay

xvfb概述

X server是linux系统里面图形接口服务器的简称。windows系统的界面是这个系统不可分割的一部分，各种窗口操作界面显示都是由系统核心直接管理的，而linux的图形界面并比较常见的linux界面操作环境有KDE和GNOME，为它们提供系统支持的就是X server，而并非linux核心。

xvfb就是这么一个提供虚拟界面的工具， 这个工具相当于一个wrapper， 给应用程序提供虚拟的 X server（X server是Linux系统里面图形接口服务器的简称，常见的有KDE和GNOME）。

总结一句话就是 xvfb可以理解为虚拟的 linux界面，可以供应用程序使用。

安装xvfb

在ubuntu16.04系统下，使用如下命令安装

sudo apt-get install xvfb
验证使用
Xvfb :99 -ac 2>/dev/null &
export DISPLAY=:99   

firefox
安装pyvirtualdisplay

pyvirtuald

最低0.47元/天 解锁文章

200万优质内容无限畅学
linux下无界面环境安装并使用chrome,chromedriver,selenium进行爬虫设计
weixin_42262769的博客
03-19 3610
linux下无界面环境安装并使用chrome,chromedriver,selenium进行爬虫设计
【爬虫】Selenium + xvfb + chrome 实现无头抓取
Ezrealmore
06-26 3402
问题背景 使用 Selenium 时有如下两种情况： （1）无界面的linux环境下 （2）想用Selenium做自动化测试或爬虫，但又不想打开浏览器，以免拖慢速度 所以我们需要一种不用打开浏览器的使用 Selenium 的方法，之前多数用的是PhantomJS + Selenium的方法，但是我使用 PhantomJS + Selenium 时报错： Selenium support for ...
centos7服务器无GUI情况下安装使用Xvfb、selenium、chrome和selenium-server
热门推荐
xds2ml的专栏
10-31 2万+
最近需要用到selenium浏览器抓取，在windows下对照chrome浏览器开发的代码，在linux服务器上换成phantomjs驱动后，却不能运行了，通过截图发现phantomjs渲染效果和chrome不同。于是考虑在centos上安装chrome浏览器。 下面是做的一些记录。 1，centos7 安装 google-chrome (1) 添加chrome的repo源
Chrome Serif font 设置探秘
最新发布
2007 年 ~ 2025 年，深耕 SAP 技术 18 年
05-10 817
在浏览器排版中，网页通常会通过 CSS 或 HTML 指定不同的字体族（font family），以达到特定的视觉风格。当网页指定通用字体族（generic font family）为serif时，浏览器便会使用用户在设置中定义的默认 Serif 字体进行渲染。
Linux上使用selenium截图,docker中使用selenium实现截图
weixin_35253106的博客
05-26 898
在本地桌面版ubuntu中安装selenium可以正常执行， 但是放到docker中，不知道什么原因执行同样的程序会报各种错误，网上查找最终终于解决，原来是需要使用headless方式来进行截图，记录下过程安装依赖# 系统软件包apt-get updateapt-get install -y python-pip xvfb xserver-xephyr chromium-browser chrom...
【网页截图亲测可用】Linux + python3 + selenium + chrome + chrome-driver 服务器端网页截图
暖风
06-01 1898
先列一下使用的软件版本Python 3.7.2selenium 4.2.0Google Chrome 102.0.5005.61chrome-driver:102.0.5005.61/chromedriver_linux64.zip一、python3 安装 升级pip3参考网址：Linux 安装 python3、pip3__Passer_的博客-优快云博客直接上代码安装依赖yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel s
liunx服务器使用selenium
lyk520dtf的博客
06-26 2973
最近在本地windows系统（下面简称本地）用selenium写了一个自动化爬虫，放到我liunx服务器（下面简称服务器）上面运行报错，记录处理流程。
wls2 使用 Selenium + chrome爬虫
佐勒之博
09-20 860
wls2 使用 Selenium + chrome爬虫 在一个机缘巧合之下，我开始接触爬虫，之前弄毕设获取人脸图像得时候用过一下。但是也只是“套公式”，没理它是怎么用的。现在开始使用windows子系统来好好体验一下这个Web的自动化测试工具，这里的子系统是Ubuntu 20 安装谷歌 即使你windos上安装了谷歌浏览器，但是你的子系统是没办法使用的，所以你还需要再子系统安装谷歌浏览器 安装需要用到的库sudo apt-get updatesudo apt-get install -y curl
【避坑 超详细】Ubuntu使用python的selenium以及chrome模拟真实浏览器访问网页
12-20
在Ubuntu系统上，使用Python的Selenium库与Chrome浏览器配合，可以实现自动化模拟真实浏览器进行网页访问。这个过程涉及到几个关键步骤，包括安装Chrome浏览器、ChromeDriver、设置环境以及安装和配置Selenium。 ...
centos 安装selenium+chrome+chromedriver+Xvfb
sinat_30175689的博客
09-23 749
1.安装selenium pyhon version: 2.7 pipinstall selenium pipinstall pyvirtualdisplay yum install Xvfb yum install xorg-x11-fonts* 2.安装chrome和配置chromedriver # 下载chrome wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm --no-...
龙叔python-selenium加chromedriver实现自动浏览器截图
龙叔运维的博客
12-29 1174
作为运维，很多时候是需要定时发一些巡检报告的，巡检内容需要包含一些监控图，但如果手动截图整理后去发，会比较繁琐，所以自动截图就很有必要，自动截取想要的监控图保存成图片，然后自动用图片组成巡检报告定时发出，省时省力 这里的自动截图方案 是用的selenium 环境安装 下载chromedriver.exe地址（下载对应自己chrome版本的，也有windows和linux版本的，代码要制定该驱动的路径） http://npm.taobao.org/mirrors/chromedriver 我这.
xvfb-selenium-server:Xvfb 上的 Headless Selenium 服务器项目
07-03
Xvfb Selenium 服务器 此项目不再维护。 我建议您改用。 描述 Xvfb 上的 Headless Selenium 服务器项目 要求 Ubuntu 12.04 服务器 Java 7 入门 克隆这个存储库： $ cd /opt/ $ git clone https://github.com/Tomohiro/xvfb-selenium-server.git 安装依赖： $ cd xvfb-selenium-server $ sudo ./setup.sh 启动 Xvfb： $ sudo service xvfb start 启动Selenium服务器： $ sudo service selenium-server
Linux xvfb截图预安装软件
06-12
Linux xvfb截图预安装软件
linux(centos7)部署springboot项目selenium渲染页面截全页面长图
weixin_44012722的博客
03-08 874
1. linux(centos7)下载chrome以及chromeDriver 1.1 下载Chrome 下载chrome安装包 wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm 安装依赖包 yum install -y lsb yum install -y libXScrnSaver yum install -y liberation-fonts yum install -y li
linux 下 CutyCapt + Xvfb + PHP 实现网页截屏
夜深的猫
06-25 1976
之前在携程订机票，好像看到了有一个发票截图的功能，我们邮政官网也有这个功能，当时大致的瞄了一眼，大概知道怎么做的。昨天朋友也有类似的功能，我决定花点点时间实现下，主要用CutyCapt + Xvfb ，当然也有其他的 实现方式例如：selenium+phantomjs，之前有一篇文章模拟登陆淘宝讲了其安装。下面将详细讲解CutyCapt + Xvfb + PHP 的实现： 1.安装前 CutyCap
centos5.4 下网页截图
kindy的开发工作室
06-06 830
这2种方法经测试都已经通过。 服务器版本是：ceontos5.4 64位系统。 一、Xvfb + html2image yum install Xvfb yum install xorg-x11-fonts*   wget http://www.ys250.com/src/html2image.x86_64.tar.gz #wget http://www.ys250.com/
armbian docker Chrome_Linux+chrome+selenium浏览器截图
weixin_39604280的博客
11-08 927
软件安装（1）根据操作系统安装对应的chrome浏览器软件和chrome driver驱动（⚠️浏览器的版本和驱动的版本要对应上） 驱动地址：https://chromedriver.chromium.org/downloadsselenium打开浏览器from tips：options.add_argument('--headless')，无界面打开浏览器，在linux中会使用这种情况。linu...
selenium 环境搭建linux,持续集成：采用Xvfb+Selenium+Firefox搭建linux服务器下的自动化测试环境...
weixin_42140846的博客
05-07 379
自动化测试属于软件测试的一部分，QTP、LoadRunner等都可以编写自动化测试脚本，但是QTP、LoadRunner等工具毕竟还需要人工操作，在持续集成思想下，软件应该自动发布并且自动测试，这样可以加快软件的开发测试周期，及时发现软件错误。持续集成应该包括代码的自动化检查、版本的自动化发布、以及程序的自动化测试。在自动化测试之外，再辅助以人工测试。在我负责的项目中，代码自动化检查采用了SVN+...
Linux上安装chrome并执行selenium测试(Python)
joye123的博客
04-14 887
1. 下载chrome安装包 wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb 2. 安装chrome sudo apt install google-chrome-stable_current_amd64.deb 5. 下载Selenium pip install selenium 同时还要下载chrome浏览器的驱动。https://sites.google.com/a/chromium.o
在debian系统中，在长期不连接显示器的情况下，python selenium 能成功打开chrome吗
03-28
<think>嗯，用户的问题是关于在Debian系统中，当设备长时间没有连接显示器的情况下，使用Python Selenium启动Chrome浏览器的可行性。我需要先理解这个问题的关键点在哪里。首先，用户可能是在无头环境中运行自动化测试或爬虫，这时候没有物理显示器，可能需要虚拟显示支持。 我记得Selenium在无显示器环境下运行浏览器通常需要配置无头模式，比如Chrome的--headless参数。但有时候即使这样，还可能遇到问题，比如浏览器需要某些显示环境，这时候可能需要Xvfb这样的虚拟显示服务器。 然后，用户提到的是Debian系统，所以需要考虑该系统的包管理和依赖关系。例如，安装Xvfb可能需要通过apt-get来安装相应的包，比如xvfb和xorg-x11-drivers等。此外，Python库方面，可能需要使用PyVirtualDisplay来管理虚拟显示。 另外，引用中的内容提到WebDriver需要对应浏览器的驱动程序，比如ChromeDriver。所以用户需要确保已经正确安装并配置了ChromeDriver的路径，同时Chrome浏览器本身也需要安装在系统中。这些依赖项如果没有正确配置，即使有无头模式也可能启动失败。 还有，用户提到设备长时间未连接显示器，这种情况下系统可能没有活动的显示会话，导致图形应用程序无法启动。这时候使用Xvfb创建一个虚拟的显示环境就显得尤为重要，它可以模拟一个X11服务器，让浏览器认为有可用的显示器。 还需要考虑Chrome的无头模式是否足够稳定，以及是否需要其他参数来优化无头运行，比如禁用GPU加速、沙箱模式等。例如，--no-sandbox参数有时在无特权环境下是必须的，而--disable-gpu可以帮助避免某些图形相关的问题。 可能还需要注意权限问题，比如在Docker容器中运行时的用户权限，或者文件系统的读写权限，这些都可能影响Chrome的正常启动。此外，系统的资源限制，如内存不足，也可能导致浏览器启动失败。 总结来说，用户的问题可以通过以下几个步骤解决：安装必要的依赖包（Xvfb），配置Chrome的无头模式和必要参数，使用PyVirtualDisplay创建虚拟显示，并确保所有驱动和浏览器的正确安装。同时，需要处理可能的权限和资源问题，以确保在无显示器环境下稳定运行。</think>在Debian系统中，即使设备长时间未连接物理显示器，通过Python Selenium启动Chrome浏览器仍然是可行的。以下是关键实现步骤和技术细节： ### 1. 虚拟显示配置 Chrome浏览器需要X11显示服务支持，无物理显示器时需通过虚拟显示服务器$Xvfb$（X Virtual Framebuffer）模拟显示环境： ```bash # 安装Xvfb及相关依赖 sudo apt-get install xvfb x11-utils xorg xserver-xorg-core xfonts-base ``` ### 2. 浏览器启动参数优化 需为ChromeDriver添加无头模式参数并禁用部分硬件相关功能： ```python from selenium import webdriver from pyvirtualdisplay import Display display = Display(visible=0, size=(1920, 1080)) # 创建虚拟显示 display.start() options = webdriver.ChromeOptions() options.add_argument("--headless=new") # Chrome 112+新版无头模式 options.add_argument("--no-sandbox") # 容器环境必须参数 options.add_argument("--disable-dev-shm-usage") # 解决共享内存限制 options.add_argument("--disable-gpu") # 禁用GPU加速 driver = webdriver.Chrome(options=options) driver.get("https://example.com") ``` ### 3. 依赖组件验证 必须确保以下组件版本兼容： - Chrome浏览器 ≥ 112（支持新版无头模式） - ChromeDriver ≥ 112.0.5615.49 - Selenium ≥ 4.8.0 可通过以下命令验证： ```bash google-chrome --version # 输出应包含"Google Chrome 112.0.5615.165" chromedriver --version # 需与浏览器主版本一致 ``` ### 4. 容器化环境适配 在Docker容器中运行时，基础镜像建议使用带有完整依赖的版本： ```Dockerfile FROM python:3.10-slim RUN apt-get update && apt-get install -y \ xvfb \ chromium \ chromium-driver \ fonts-ipafont-gothic \ fonts-freefont-ttf ENV PYSPARK_PYTHON=/usr/bin/python3 # 引用环境变量设置方法[^1] ``` ### 5. 稳定性增强措施 - 内存管理：添加$--disable-software-rasterizer$参数降低显存占用 - 会话保持：配置$--remote-debugging-port=9222$实现浏览器进程复用 - 异常处理：使用显式等待代替固定等待时间 ```python from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC element = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.ID, "target_id")) ) ``` [^1]: 环境变量设置参考示例 [^2]: WebDriver核心功能说明
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值