编写java程序访问spark环境

最新推荐文章于 2024-09-15 16:13:23 发布

原创最新推荐文章于 2024-09-15 16:13:23 发布 · 2.3k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

java 同时被 2 个专栏收录

298 篇文章

订阅专栏

spark

12 篇文章

订阅专栏

本文介绍如何在Java程序中访问Spark环境，包括环境搭建、Maven项目配置及编写示例程序。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark本身是使用scala语言编写的，但是Spark提供了访问Spark环境的Java API，使得可以从Java程序中访问Spark环境。

准备环境

在互联的5台机器上同时部署Spark环境和Hadoop环境，之所以部署Hadoop环境，是为了让Spark可以从HDFS加载数据。Spark的版本是为CDH4预编译的0.8.0，Hadoop的版本为CDH4（好像是CDH4.3）。

创建Maven项目

创建Maven项目，在POM文件中添加如下库和依赖：

<repositories>
    <repository>
        <id>Akka repository</id>
        <url>http://repo.akka.io/releases</url>
    </repository>
</repositories>
<dependencies>
    <dependency>
        <groupid>org.apache.spark</groupid>
        spark-core_2.9.3</artifactid>
        <version>0.8.0-incubating</version>
    </dependency>
    <dependency>
        <groupid>org.apache.hadoop</groupid>
        hadoop-client</artifactid>
        <version>2.0.0-mr1-cdh4.2.0</version>
    </dependency>
</dependencies>

编写Java程序

直接贴Demo程序的代码和注释。

package xxx;
 
import java.util.HashMap;
import java.util.Map;
 
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
 
public class Demo {
 
    static final String USER = "wyc";
 
    public static void main(String[] args) throws Exception {
        System.setProperty("user.name", USER); // 设置访问Spark使用的用户名
        System.setProperty("HADOOP_USER_NAME", USER); // 设置访问Hadoop使用的用户名
        Map<string, string=""> envs = new HashMap<string, string="">();
        envs.put("HADOOP_USER_NAME", USER); // 为Spark环境中服务于本App的各个Executor程序设置访问Hadoop使用的用户名
 
        System.setProperty("spark.executor.memory", "512m"); // 为Spark环境中服务于本App的各个Executor程序设置使用内存量的上限
 
        // 以下构造sc对象的构造方法各参数意义依次为：
        //   Spark Master的地址；
        //   App的名称；
        //   Spark Worker的部署位置；
        //   需要提供给本App的各个Executor程序下载的jar包的路径列表，这些jar包将出现在Executor程序的类路径中；
        //   传递给本App的各个Executor程序的环境信息。
 
        JavaSparkContext sc = new JavaSparkContext("spark://node01:7077", "Spark App 0", "/home/wyc/spark", new String[0], envs);
 
        String file = "hdfs://node01:8020/user/wyc/a.txt";
        JavaRDD<string> data = sc.textFile(file, 4).cache();
        System.out.println(data.count());
    }
 
}