在IDEA中利用Maven创建Spark项目

最新推荐文章于 2025-05-12 11:16:07 发布

随风奔跑之水

最新推荐文章于 2025-05-12 11:16:07 发布

阅读量2.6k

点赞数 3

分类专栏： Spark-SQL Scala Hadoop

本文链接：https://blog.youkuaiyun.com/weixin_40873462/article/details/106618966

版权

本文详细介绍了如何在IDEA中利用Maven创建Spark项目，包括安装jdk、scala-sdk、spark和hadoop，IDEA的配置，maven的设置，创建Spark项目，解决jar包冲突，打包和运行jar包，以及在Linux服务器上运行项目。关键步骤包括配置阿里云maven源，导入spark相关jar包，设置主类和jar包构建选项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、安装相应sdk及环境变量配置（跳转）

（1）安装java-jdk

（2）安装scala-sdk

（3）安装spark

（4）安装hadoop （修改etc下的几个配置文件）

注意：安装时候的版本对应，不对应会出错！！

2、安装IDEA

从官网下载安装包（社区版基本够用），常规安装，因为IDEA默认只支持Java的开发环境，所以我们根据需要，在Plugins中添加所需的插件，scala，python等

3、maven配置

注意：新版的IDEA中都是自带maven的。

（1）给maven添加阿里云源，下载速度更快，默认容易出错

打开maven存放文件夹找到 ...\plugins\maven\lib\maven3\conf -> settings.xml

找到<mirrors>节点
把下面内容写入节点内配置为阿里云的镜像

　　<mirror>
      <id>alimaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <mirrorOf>central</mirrorOf>
    </mirror>

或者选择其他可用镜像

    <mirror>
      <id>repo2</id>
      <mirrorOf>central</mirrorOf>
      <name>Human Readable Name for this Mirror.</name>
      <url>http://repo2.maven.org/maven2/</url>
    </mirror>

    <mirror>
      <id>ui</id>
      <mirrorOf>central</mirrorOf>
      <name>Human Readable Name for this Mirror.</name>
      <

最低0.47元/天解锁文章