大数据学习——java调用spark学习测试

最新推荐文章于 2025-03-19 10:15:00 发布

祁峰sunny

最新推荐文章于 2025-03-19 10:15:00 发布

阅读量764

点赞数

本文链接：https://blog.youkuaiyun.com/qq_15903671/article/details/96839875

版权

本文介绍了在Windows环境下使用Java语言调用Spark进行计算的步骤。首先，通过Maven添加Spark依赖，虽然会遇到Hadoop相关错误，但只需下载并配置Hadoop，特别是winutils.exe，设置好HADOOP_HOME环境变量，即可解决问题，实现Java程序正常运行Spark的map操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark是一种计算框架，如果只是想学习，完全可以脱离hadoop而独立运行，当然这样就没法使用hdfs进行数据存储。

windows环境下，使用java语言添加spark依赖包就可以直接使用spark了。

一、maven添加spark依赖：

这个jar包还是挺大的，下载需要点时间。

二、随便写个map操作

import org.apache.commons.lang3.StringUtils;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;

import java.util.Arrays;

public class TestMainQF {
    
    public static void main(String [] args){
        System.out.println("hello word");
        TestMainQF test = new TestMainQF();
        test.test();
    }

    private void test() {
        SparkConf conf = new SparkConf().setMaster("local").setAppName("TestQF");
        JavaSparkContext sc = new JavaSparkContex