【Spark+NLP】16、win10下使用IDEA完整运行一个spark ml机器学习程序

最新推荐文章于 2024-08-02 01:21:14 发布

原创

最新推荐文章于 2024-08-02 01:21:14 发布 · 650 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了在Windows 10上使用IntelliJ IDEA（IDEA）配置并运行Spark MLlib机器学习程序的步骤。首先，针对版本问题在pom.xml中添加正确的Spark和Scala依赖。然后，详细讲解了如何修改项目设置以匹配依赖。接着，利用已有的代码和数据集设置本地Spark模式。最后，成功运行程序并提供了参考资料。

1、在pom.xml中添加spark mllib依赖

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-mllib_2.12</artifactId>
    <version>${spark.version}</version>
</dependency>

注意：

本人原本使用的spark2.4.3，scala2.11.12，spark-mllib2.11，但是跑程序总报错提示版本不对。

去官网查了下https://mvnrepository.com/artifact/org.apache.spark/spark-mllib_2.12/2.4.3