整理spark+eclipse使用

1.对于使用eclipse那么肯定要部署JDK（我这个已经有描述），所以略~

注意：

Spark的各个版本需要跟相应的Scala版本对应，比如我这里使用的Spark 1.6.2就只能使用Scala 2.10的各个版本，目前最新的Spark 2.0就只能使用Scala 2.11的各个版本，所以下载的时候，需要注意到这种Scala版本与Spark版本相互对应的关系。我这里现在用的是Scala 2.10.6，适配Spark从1.3.0到Spark 1.6.2之间的各个版本。在版本页面DOWNLOAD PREVIOUS VERSIONS选择一个适合自己需要的版本进行下载

2.下载scala，进行安装（如果没有exe文件，则在系统变量中配置 path ： D:\scala\scala-2.10.6\scala-2.10.6\bin）

spark下载地址：Download Apache Spark

3.下载spark，配置path ：D:\spark\spark-1.6.2-bin-hadoop2.6\spark-1.6.2-bin-hadoop2.6\bin

注意：

我们在下载spark时，其中package type 版本为2.6，所有Hadoop下载版本我下载的是2.6.4，下载地址为Hadoop Releases

4.下载Hadoop，新建变量HADOOP_HOME ： D:\Hadoop\hadoop-2.6.4\hadoop-2.6.4

                            配置path ： %HADOOP_HOME%\bin

cmd -> spark-shell

出现的问题：

1.空指针，没有winutils.exe 文件，需要在GitHub中找到这个文件，提供地址： https://github.com/steveloughran/winutils

选择你需要的文件，进行下载。下载完之后放到Hadoop的bin目录下

修改winutils.exe文件的权限

回车即可。

2.tmp\hive文件没有权限

先判断本计算机中是否有tmp/hive 文件，如果没有则创建此文件，右键：管理员取得所有权，即可。

再次spark-shell

所有就OK了！

程序使用scala：

需要在程序中加入jar包

在spark2.0上就没有这个包，需要将lib中所有包导入。

下面代码是复制大佬的：

地址：https://blog.youkuaiyun.com/cary_1991/article/details/51251775

public static void main(String[] args) {  
/**


      * 第1步：创建Spark的配置对象SparkConf，设置Spark程序的运行时的配置信息，


      * 例如说通过setMaster来设置程序要链接的Spark集群的Master的URL,如果设置


      * 为local，则代表Spark程序在本地运行，特别适合于机器配置条件非常差（例如


      * 只有1G的内存）的初学者       *


      */


SparkConf conf =new SparkConf().setAppName("Spark WordCount written by java").setMaster("local");


/**


      * 第2步：创建SparkContext对象


      * SparkContext是Spark程序所有功能的唯一入口，无论是采用Scala、Java、Python、R等都必须有一个SparkContext(不同的语言具体的类名称不同，如果是java 的为javaSparkContext)


      * SparkContext核心作用：初始化Spark应用程序运行所需要的核心组件，包括DAGScheduler、TaskScheduler、SchedulerBackend


      * 同时还会负责Spark程序往Master注册程序等


      * SparkContext是整个Spark应用程序中最为至关重要的一个对象


      */


JavaSparkContext sc=new JavaSparkContext(conf); //其底层就是scala的sparkcontext


 


     /**


      * 第3步：根据具体的数据来源（HDFS、HBase、Local FS、DB、S3等）通过SparkContext来创建RDD


      * JavaRDD的创建基本有三种方式：根据外部的数据来源（例如HDFS）、根据Scala集合、由其它的RDD操作


      * 数据会被JavaRDD划分成为一系列的Partitions，分配到每个Partition的数据属于一个Task的处理范畴


      */


JavaRDD<String> lines =sc.textFile("D://text_workspace//text//target//classes//text//README.md");


/**


      * 第4步：对初始的JavaRDD进行Transformation级别的处理，例如map、filter等高阶函数等的编程，来进行具体的数据计算


      * 第4.1步：讲每一行的字符串拆分成单个的单词


      */


JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String,String>(){ //如果是scala由于Sam转化所以可以写成一行代码


 


@Override


public Iterable<String> call(String line) throws Exception {


// TODO Auto-generated method stub


  


return Arrays.asList(line.split(" "));


}


});


/**


      * 第4步：对初始的JavaRDD进行Transformation级别的处理，例如map、filter等高阶函数等的编程，来进行具体的数据计算


      * 第4.2步：在单词拆分的基础上对每个单词实例计数为1，也就是word => (word, 1)


      */


JavaPairRDD<String,Integer> pairs=words.mapToPair(new PairFunction<String, String, Integer>() {


 


@Override


public Tuple2<String, Integer> call(String word) throws Exception {


// TODO Auto-generated method stub


return new Tuple2<String, Integer>(word,1);


}


});


/**


      * 第4步：对初始的RDD进行Transformation级别的处理，例如map、filter等高阶函数等的编程，来进行具体的数据计算


      * 第4.3步：在每个单词实例计数为1基础之上统计每个单词在文件中出现的总次数


      */


JavaPairRDD<String,Integer> wordsCount =pairs.reduceByKey(new Function2<Integer, Integer, Integer>() { //对相同的Key，进行Value的累计（包括Local和Reducer级别同时Reduce）


@Override


public Integer call(Integer v1, Integer v2) throws Exception {


// TODO Auto-generated method stub


return v1+v2;


}


});


wordsCount.foreach(new VoidFunction<Tuple2<String,Integer>>() {


@Override


public void call(Tuple2<String, Integer> pairs) throws Exception {


// TODO Auto-generated method stub


System.out.println(pairs._1+" : " +pairs._2);


}


});


sc.close();


     }

}

其中README.md文件地址，选取自定义保存文件保存位置。

打印部分结果。