Spark安装并运行WordCount示例

最新推荐文章于 2024-10-31 13:27:59 发布

原创最新推荐文章于 2024-10-31 13:27:59 发布 · 1.4k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#spark #集群 #yarn

Spark 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了Apache Spark的安装配置过程及三种主要运行模式：Local、Standalone和Yarn。通过具体实例展示了如何使用Scala与Java进行WordCount任务的实现，并针对运行中遇到的问题提供了实用的解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.概述

1.官网下载spark包http://spark.apache.org/downloads.html
2.将spark安装包上传至集群，并解压。以下操作二选一。
3.部署standalone模式的spark集群。
修改conf/slaves文件，添加spark的各个节点ip地址。
4.Spark on yarn模式。
添加环境变量： HADOOP_CONF_DIR=hadoop配置文件所在路径。

2.下载与解压

  tar zxvf spark-1.6.1-bin-hadoop2.6.tgz
  mv spark-1.6.1-bin-hadoop2.6 spark-1.6.1

这里写图片描述

3.Local模式

运行命令

中括号里面是分配的核数

这里写图片描述

读取文件，这里读取的是本地文件
这里写图片描述

scala代码如下：

val lines = sc.textFile("/usr/local/data/a.txt")
lines.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).collect.foreach(println)

进行wordcount并输出结果
这里写图片描述

查看spark UI
这里写图片描述

4.配置集群运行Standalone模式

1.复制slaves.template和spark-env.sh.template文件

cp slaves.template slaves
cp spark-env.sh.template spark-env.sh

这里写图片描述

2.配置slaves，把loalhost换成集群ip
这里写图片描述

3.配置spark-env.sh
这里写图片描述

4.scp 分发到集群

5.sbin目录下启动spark集群，成功后jsp命令可以看到worker进程
这里写图片描述

6.进入bin目录下运行Standalone模式
这里写图片描述

运行成功
这里写图片描述

7.读取文件（本次是从hdfs上读取）

这里写图片描述
cache()一下

查看读入数据的行数

查看UI，可以看到小绿点
这里写图片描述

这里写图片描述

8.进行wordcount操作
这里写图片描述

查看结果
这里写图片描述

9查看UI
这里写图片描述

这里写图片描述

5.Yarn模式（yarn-client）

yarn-client：driver端跑在client端，可以看到日志与最终统计结果
这里写图片描述
Spark:Yarn-cluster和Yarn-client区别与联系请看这里https://www.iteblog.com/archives/1223.html

本次实验采用yarn-client
新建maven project
Java代码如下：

package com.neu.spark.sparkTest;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import org.apache.spark.SparkConf;
import org.apache.spark.SparkContext;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import scala.Tuple2;


public class WordCount {

    public static void main(String[] args) {
        SparkConf conf = new SparkConf();
        conf.setAppName("wordcount");
        //conf.setMaster("local[*]");
        SparkContext sc = new SparkContext(conf);
        JavaSparkContext jsc = new JavaSparkContext(sc);



        JavaRDD<String> data =  jsc.textFile("hdfs://172.17.11.172:9000/data/a.txt");

        JavaRDD<String> wordRDD =data.flatMap(new FlatMapFunction<String, String>() {

            private static final long serialVersionUID = 6449542603028263126L;

            public Iterable<String> call(String t) throws Exception {
                String[] words = t.split(" ");
                List<String> list = new ArrayList<String>();
                for (int i = 0; i < words.length; i++) {
                    list.add(words[i]);
                }
                return list;
            }
        });

        JavaPairRDD<String, Integer>  wordPairRDD= wordRDD.mapToPair(new PairFunction<String, String, Integer>() {

            private static final long serialVersionUID = 3979244126667010337L;

            public Tuple2<String, Integer> call(String t) throws Exception {
                // TODO Auto-generated method stub
                return new Tuple2<String, Integer>(t,1);
            }
        });


         JavaPairRDD<String, Integer> wordCountRS = wordPairRDD.reduceByKey(new Function2<Integer, Integer, Integer>() {

            public Integer call(Integer v1, Integer v2) throws Exception {
                // TODO Auto-generated method stub
                return v1.intValue()+v2.intValue();
            }
        });


         Map<String,Integer> result =wordCountRS.collectAsMap();

         System.out.println("The size is "+result.size());

         for (Map.Entry<String,Integer> entry:result.entrySet())
             System.out.println("Key = "+entry.getKey()+", Value = "+entry.getValue());  

    }

}

配置文件如下：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.neu.spark</groupId>
  <artifactId>sparkTest</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>sparkTest</name>
  <url>http://maven.apache.org</url>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
     </dependency>

     <dependency> <!-- Spark dependency -->
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>1.2.0</version>
    </dependency>

    <dependency> <!-- Hadoop dependency -->
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>2.6.0</version>
    </dependency>


  </dependencies>
</project>

打成jar包，放在集群运行
这里写图片描述
这里注意参数，一开始报错，后来加上 class– 代码的包名.类名后成功了

读取的hdfs上的文件如下
这里写图片描述

运行结果如图：
这里写图片描述

这里写图片描述

查看8088端口
这里写图片描述

这里写图片描述

本次运行并没有设置参数，而是采用默认的，也可以设置参数，也可以集群运行，本地进行debug

/usr/local/tools/spark-1.6.1/bin/spark-submit \
--master yarn-client \
--driver-cores 8 \
--driver-memory 1G \
--num-executors 2 \
--executor-memory 1G \
--executor-cores 4 \
--driver-java-options '-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=9887' 
/usr/local/userJars/spark/SparkTest-0.0.1.jar
#--driver-java-options '-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=9887' \
#-JAVA_OPTS = -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=9888 \

6.问题总结

1.Error: No main class set in JAR; please specify one with –class
Run with –help for usage help or –verbose for debug output
这里写图片描述

加入class参数
这里写图片描述

2.org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/data/a.txt

首先，查看/usr/local/spark/conf/spark-env.sh中有没有配置HADOOP_CONF_DIR
这里写图片描述

然后如果从hdfs中上传文件，写成sc.textFile(“hdfs:///data/a.txt”)；如果从本地上传文件，写成sc.textFile(“file:///usr/local/data/a.txt”)

如果还是报错，可以试试下面这种写法

sc.textFile("hdfs://172.17.11.172:9000/data/a.txt");

参考网址https://stackoverflow.com/questions/27299923/how-to-load-local-file-in-sc-textfile-instead-of-hdfs