用IntelliJ开发Spark

最新推荐文章于 2025-04-11 14:36:03 发布

原创最新推荐文章于 2025-04-11 14:36:03 发布 · 3.2k 阅读

CC 4.0 BY-SA版权

本文介绍了如何使用IntelliJ IDEA进行Spark项目的开发。主要内容包括IntelliJ的安装配置、Scala插件的安装以及如何利用sbt-idea插件生成IntelliJ项目文件。

有人写了篇用Eclipse阅读Spark源代码的文章。不过，Spark/Shark的主力开发成员Reynold Xin推荐用IntelliJ来开发Scala项目，说Berkley的所有人基本上都从Eclipse转到IntelliJ了。所以也试着转向IntelliJ:)
下面记录一下大概的过程。

根据IntelliJ Wiki上的文章下载和安装IntelliJ，现在的版本是12.1.4。
运行IntelliJ，如果有必要的话，设置http代理。(File -> Settings -> HTTP Proxy)
要让IntelliJ支持Scala，必须安装Scala插件。
- File -> Settings -> Plugins
- 点击"Browse Repositories..." 按钮
- 在搜索框中输入Scala
- 点击"Scala custom languages"项，安装Scala插件。
- 安装完后，重启IntelliJ激活Scala插件
生成Spark的IntelliJ项目文件。Spark使用了sbt构建工具，sbt有一个插件sbt-idea可以用来从sbt项目生成IntelliJ项目。最新的Spark代码已经加入了对sbt-idea的依赖，所以直接键入命令：sbt/sbt gen-idea。
在IntelliJ中，File->Open，选择Spark的根目录。