IntelliJ（IDEA）Spark源码阅读环境

• IntelliJ（IDEA）Spark源码阅读环境
• 依赖：IDEA（IntelliJ，前文已经安装），Scala（前文已经安装），SBT，GIT，Spark源码
• 1.SBT安装

               1）官网下载压缩包 http://www.scala-sbt.org/download.html

               2）本地解压缩

                     $ tar -zxvf sbt.tar 

         3）配置环境变量

          $  sudo vim /etc/profile 

            添加：

                 # SBT Variables Start

                     export SBT_HOME=/Users/alina/ComputerScience/sbt

                     export PATH= ${SBT_HOME} /bin: $PATH

                     # SBT Variables End 

          使环境变量生效：

           $ source /etc/profile 

             验证sbt

           $ sbt -h

             运行sbt下载所需要的程序包：

           $ sbt           

• 2.Git安装

               官网： http://git-scm.com/download/下载dmg文件，挂载后运行pkg文件，按照安装指示进行。

               在命令行执行$ which git

                显示git的路径即为安装成功。

• 3.生成源码的.idea项目

               下载spark源码包，在spark根目录下执行 $ ./sbt/sbt gen-idea 生成.idea项目，久的话一个小时，看网速了

               遇到的问题：

               spark-1.4.1版源码，执行./sbt/sbt gen-idea报错

               

               解决：

               sbt-launch-0.13.7.jar应该有1.2M大小，如果没有，则该jar包没有下载成功

              手动下载 https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.7/sbt-launch.jar

               move到 sbt/ 内，重命名为sbt-launch-0.13.7.jar

               打开sbt-launch-lib.bash，注释掉在线下载jar包的代码47到68行