本文详细介绍了如何在IntelliJ IDEA中搭建Spark开发环境，并通过local模式运行Spark程序。包括安装JDK、Scala、IntelliJ IDEA及配置过程。
在IntellIJ IDEA中搭建好spark开发环境，并在IntelliJ IDEA中运行local模式，这是学习spark开发和调试spark程序，以及分析spark源码的绝佳方式.
基本流程：
1.安装JDK，注意版本要和spark兼容
2.安装scala,注意版本要和spark兼容
3.安装IntelliJ IDEA 并安装scala插件
4.新建scala工程，制定JDK,和scala配置
5.导入spark-hadoop依赖包，可以将官网下载的spark解压后中的jars目录下的jar包全部导入工程，如下：
6.设置IDEA运行项的Configuration中的VM opthion 增加-Dspark.master=local，如下：
7.开发程序并运行即可
扫一扫
6058
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
