spark集群实现wordcount

最新推荐文章于 2022-04-08 11:18:27 发布

原创

最新推荐文章于 2022-04-08 11:18:27 发布 · 491 阅读

2 ·

CC 4.0 BY-SA版权

本文介绍了在Hadoop 2.7.2、Zookeeper 3.4.5和Spark 2.1.1环境下，如何搭建Spark集群并用Scala编写WordCount程序。程序采用YARN作为资源调度器，需预先配置好HDFS和YARN服务。在完成Scala代码编写、添加Maven依赖并打包后，将jar包上传到Spark集群，确保输入文件存于HDFS的特定目录，避免在输出路径创建out文件夹，以免报错。运行成功后，结果将在HDFS相应目录下展示。

环境配置是：hadoop2.7.2 + zookeeper 3.4.5+ spark 2.1.1

说明：

这里的wordcount是使用scala书写，资源调度使用的是yarn。

1.环境搭建

提前搭建好hadoop集群和zookeeper。

2.搭建spark集群配置

使用的是yarn的集群配置。所以要在启动spark之前线启动hdfs和yarn。

3.代码书写：

def main(args: Array[String]): Unit = {

//1.创建SparkConf并设置App名称
    val conf = new SparkConf().setAppName("WC")

//2.创建SparkContext，该对象是提交Spark App的入口
    val sc = new SparkContext(conf)

    //3.使用sc创建RDD并执行相应的transformation和action
    sc.textFile(args(0)).flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_, 1).sortBy(_._2, false).saveAsTextFile(args(1))

//4.关闭连接
    sc.stop()
  }

xml配置（maven依赖）：

<dependencies>
    <!--spark-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.1.1</version>
        </dependency>
    </dependencies>
    <