梦岚如雪

最近要用到spark，这里记录以下在windows本地搭建spark的词频统计的整个流程。首先明确一下版本，这里用的是hadoop-2.7.0版本，spark版本必须要与之对应，这里用的是下面这个，下载地址在这里http://spark.apache.org/downloads.html ，这里用的是scale ide，对应的scala版本是2.11.8,对应的jdk是1.8,好了废话不多说，直接进

之前在windows下搭建了一个spark的开发环境，但是后来发现如果想要搞spark streaming的例子的话在Linux下使用更方便，于是在centos7下面搭建一下spark开发环境，记录以做备忘之用。1 .首先去spark官网下载相关软件，我这里用的是spark2.1.0版本http://write.blog.youkuaiyun.com/mdeditor，对应的hadoop版本是2.7.02 .

众所周知，spark可以使用三种语言进行编写，分别是scala，phython，java三种语言，而且执行方式不同，Scala是用sbt编译打包，Java是用Maven进行编译打包，而phython则是用spark-submit提交运行。而sbt本身就是用scala进行编写的。这里记录以下自己在Linux下安装sbt的过程以及编译打包spark程序的流程，以做备忘。1 .首先进入根目录创建相应的目录

　　 Intellij是进行scala开发的一个非常好用的工具，可以非常轻松查看scala源码，当然用它来开发Java也是很爽的，之前一直在用scala ide和eclipse，现在换成intellij简直好用到飞起，但是有些人不知道怎么用intellij去创建一个spark项目，这里介绍两种选择File->new Project->Java->Scala,这里scala版...