无界面 centOS 中使用 DrissionPage
某电影网站使用了加密js,无法直接从主页上爬取电影信息,只好借助 selenium 等工具。selenium 需要在服务器上安装浏览器和对应的 driver。我的服务器是无界面 centOS,未找到对应的办法。偶然看到 DrissionPage,一个国人开发的网页自动化工具,直接使用系统中的 chromium(可以指定chrome、edge),不需要 driver。尝试了一下,可以解决问题。
需要解决两个事情:
- centOS 上安装安装 chrome
- DrissionPage 使用无头模块
1. centos 安装 chrome
添加 Chrome 的 Yum Repository:
sudo wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
安装下载的 rpm 包:
sudo yum localinstall google-chrome-stable_current_x86_64.rpm
如果出现依赖问题,执行以下命令来解决:
sudo yum install lsb
默认安装位置:/opt/google/chrome/google-chrome,可以通过在终端中输入 google-chrome-stable 来启动 Chrome 浏览器
2. python 代码
安装 DrissionPage 包
pip install DrissionPage
实现代码如下:
# -*- coding: utf-8 -*-