从零开始使用Springboot，selenium进行爬虫

最新推荐文章于 2024-12-07 09:46:18 发布

k2417254739kj

最新推荐文章于 2024-12-07 09:46:18 发布

阅读量138

点赞数

原文链接：https://www.opensnn.com/os/article/10000982

版权

环境

系统：ubuntu 22.04.1
java：11
Chrome浏览器：126.0.6478.126
Chrome浏览器驱动：126.0.6478.126
idea：2024社区版

下载Chrome和对应chromedriver

点击下面网址下载：
https://googlechromelabs.github.io/chrome-for-testing/#stable
下载对应平台和版本的Chrome和Chromedriver，复制网址下载：
DESC

配置chromedriver的路径（可以不配，项目启动指定路径也可以）

linux
- 使用终端查看系统的PATH环境变量
  - 终端输入：echo $PATH 查看系统的PARH环境变量
- 将chromedriver文件放入PATH环境变量的目录下
  - 这里是把下载好的Chromedriver放在了上面表的目录里，里面的chromedriver要放在PATH环境变量的目录下
windows
- 配置环境变量网上很多

也可以都不配置后续只需要指定路径即可

项目构建

创建Springboot项目

这里有很详细的创建方式，而且支持社区版也能用：https://www.opensnn.com/os/article/10000759

添加对应依赖

在pom文件添加对应依赖

<dependency>
            <groupId>org.seleniumhq.selenium</groupId>
            <artifactId>selenium-java</artifactId>
            <version>4.22.0</version>
        </dependency>

添加简单的demo案例

public class seleniumDemo {
    public static void main(String[] args) throws IOException {
        // 设置ChromeDriver路径，后面改成自己下载好的chromedriver，指定到chromedriver文件夹里面的chromedriver文件
        System.setProperty("webdriver.chrome.driver", "/usr/local/bin/chromedriver");
        // 创建ChromeDriver实例
        WebDriver driver = new ChromeDriver();
        // 打开网页
        driver.get("https://www.baidu.com");
        // 输出网页标题
        System.out.println("Title: " + driver.getTitle());
        // 关闭浏览器
        driver.quit();
    }
}