用eclipse读spark源码

最近没有时间研究IDEA开发环境，相信也有很多人和我一样习惯使用eclipse开发环境，幸好spark源码提供了生成eclipse工程的插件。

当然首先你得下载Scala的eclipse插件，对于不同版本的eclipse环境，你要下载的Scala插件也有所不同。具体请参考这里对应你的eclipse版本。然后从spark的主页或者github主页下载spark的源码包（github上是最新的代码），你既然想看源码，还是编译一边源码比较好，所以建议选择较小的source包而不是prebuilt包。

编译：解压源码包之后进入SPARK_HOME目录，执行sbt/sbt命令，进入sbt控制界面，然后输入eclipse命令，等待若干时间，最后将生成spark项目中的每个子项目的eclipse工程配置，然后输入package命令将每个子项目打包，最后输入assembly命令生成assembly包。最后两步最好进行，因为生成之后你可以搭建spark集群。

导入：至此你可以导入spark的eclipse工程，文件->导入->常规->现有项目到工作空间中，选择spark的根目录即可导入成功。

之后你可以在eclipse中看到有很多个项目，最核心的项目是core项目，可以结合examples项目中的文件来看core中的代码。