孙其功陪你学之——基于IDEA使用Spark API开放Spark程序（2）

《Spark亚太研究院系列丛书——Spark实战高手之路 从零开始》本书通过Spark的shell测试Spark的工作；使用Spark的cache机制观察一下效率的提升构建Spark的IDE开发环境；通过Spark的IDE搭建Spark开发环境；测试Spark IDE开发环境等等。本节为大家介绍基于IDEA使用Spark API开放Spark程序。

2.基于IDEA使用Spark API开放Spark程序（2）

下面修改Libraries：

因为要开发Spark程序，所以需要把Spark的开发需要的jar包导进来：

加入后：

导入包完成后，在工程的scala下面创建一个package：

创建一个Object对象：

完成初始类的创建：

首先构建Spark Driver的模板代码：

该程序是对前面的搜狗日志的处理代码，只不过这个时候在IDEA中编写而已。

接下来进行打包，使用Project  Structure的Artifacts：

使用From modules with dependencies：

选择Main Class：

 

点击“OK”: