【Spark+NLP】16、win10下使用IDEA完整运行一个spark ml机器学习程序

PrincessLin

于 2019-09-16 11:11:27 发布

阅读量620

点赞数

CC 4.0 BY-SA版权

分类专栏：学习笔记

本文链接：https://blog.youkuaiyun.com/PrincessLin/article/details/100880945

本文介绍了在Windows 10上使用IntelliJ IDEA（IDEA）配置并运行Spark MLlib机器学习程序的步骤。首先，针对版本问题在pom.xml中添加正确的Spark和Scala依赖。然后，详细讲解了如何修改项目设置以匹配依赖。接着，利用已有的代码和数据集设置本地Spark模式。最后，成功运行程序并提供了参考资料。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、在pom.xml中添加spark mllib依赖

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-mllib_2.12</artifactId>
    <version>${spark.version}</version>
</dependency>

注意：

本人原本使用的spark2.4.3，scala2.11.12，spark-mllib2.11，但是跑程序总报错提示版本不对。

去官网查了下https://mvnrepository.com/artifact/org.apache.spark/spark-mllib_2.12/2.4.3