[1].Spark 学习笔记使用java ---word count

最新推荐文章于 2024-06-13 16:16:18 发布

原创最新推荐文章于 2024-06-13 16:16:18 发布 · 912 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#java #spark

spark 专栏收录该内容

10 篇文章

订阅专栏

本文详细介绍使用Java实现Spark WordCount的过程，包括环境配置、代码实现等关键步骤，并解释了涉及的主要数据结构和方法。

准备写一个系列的笔记，记录自己学习spark的过程，因为公司使用的是java语言，所以本系列的博客都是以java语言实现的，欢迎拍砖。有更好的实现方法，请告诉我，一起学习。

1 环境配置

在本地使用java写spark程序，只需要配置好jdk环境，新建一个maven项目，在pom中添加如下依赖：

  <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-mllib_2.10</artifactId>
            <version>1.6.2</version>
        </dependency>
    </dependencies>

2 使用java实现的Spark 版本的word count

程序很简单，直接给出代码：

package RDD;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFlatMapFunction;
import org.apache.spark.api.java.function.PairFunction;
import scala.Tuple2;

import java.util.ArrayList;
import java.util.List;

/**
 * Created by Macan on 2017/9/25.
 */
public class WordCount {

    public static void main(String[] args) {
        System.setProperty("hadoop.home.dir","C:\\winutils");
        SparkConf sc = new SparkConf().setMaster("local[*]").setAppName("LoadData");
        JavaSparkContext jsc = new JavaSparkContext(sc);

        JavaRDD<String> input = jsc.textFile("src/main/resources/entity/part-00000");

        //切分单词， 相当于hadoop 中的map阶段
        JavaPairRDD<String, Integer> flattenPairs = input.flatMapToPair(new PairFlatMapFunction<String, String, Integer>() {
            public Iterable<Tuple2<String, Integer>> call(String s) throws Exception {
                List<Tuple2<String, Integer>> res = new ArrayList<Tuple2<String, Integer>>();
                String[] words = s.replaceAll("[\"]", "").split(",");
                for (String word : words){
                    res.add(new Tuple2<String, Integer>(word, 1));
                }
                return res;
            }
        });

        //reduce
        JavaPairRDD<String, Integer> wordCountRdd = flattenPairs.reduceByKey(new Function2<Integer, Integer, Integer>() {
            public Integer call(Integer count1, Integer count2) throws Exception {
                return count1 + count2;
            }
        });

        JavaPairRDD<Integer, String> result = wordCountRdd.mapToPair(new PairFunction<Tuple2<String, Integer>, Integer, String>() {
            @Override
            public Tuple2<Integer, String> call(Tuple2<String, Integer> value) throws Exception {
                Tuple2<Integer, String> rst = new Tuple2<>(value._2(), value._1());
                return rst;
            }
        }).sortByKey(false);

        //保存结果
        result.saveAsTextFile("src/main/resources/result");


    }
}

对于程序中用到的几种数据结构

JavaPairRDD： 可以理解为java中的List<Pair<Object, Object>>
Tuple2: 可以理解成一个Pair<Object, Object>,是一个元组类型：(a，b)这种结构

涉及到的方法:

JavaSparkContext : textFile(String Path) ： 读取文件，path可以是一个文件，也可以是一个目录

flatMapToPair ： 是一个遍历过程，其可以对当前task中分发的数据进行遍历处理，具体处理逻辑用户自定义在call（）方法中，wordcount 程序中是进行单词的切分操作，赋予每个单词的频率为1 。 flatMapToPair参数有三个，第一个是输入，第二个和第三个是返回的Pair中的第一个和第二个参数。

reduceByKey ：按照key reduce操作。如何reduce也在call 方法中实现。