IDEA使用SparkSession读取Json文件报错 A master URL must be set in your configuration

最新推荐文章于 2025-06-27 21:32:28 发布

兀坐晴窗独饮茶

最新推荐文章于 2025-06-27 21:32:28 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

文章标签： SaprkSql 报错

本文链接：https://blog.youkuaiyun.com/weixin_40040107/article/details/90547897

本文主要讲述了学习SparkSql时遇到的报错问题。在本地运行SparkSession读取json文件时，报A master URL must be set in your configuration错误，原因是未设置master提交方式，或把SparkContext写在main方法外。同时给出两种解决方法，一是在run configration中添加，二是创建SparkConf和SparkContext并设置master。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.错误场景

今天在学习SparkSql的时候看了Spark源码的例子在本地运行SparkSession读取json文件的时候 , 报 A master URL must be set in your configuration 这个错误
, 当时的代码如下

public class SqlDemo01 {

    public static void main(String[] args) {

        // SparkSqlContext , HiveContext(Spark1.3以上建议用)
        // 1.创建一个SparkSession对象 , 类始于SparkContext
        SparkSession sparkSession = SparkSession
                .builder() // builder 是用来实例化一个SparkSession对象的
                .appName("SQL")
                .config("spark.some.config.option" , "some-value")
                .getOrCreate();


        runBasicDataFrameExample(sparkSession);
        // 关闭SparkSession
        sparkSession.stop();
    }

    // 使用DataFrame 读取数据
    private static void runBasicDataFrameExample(SparkSession sparkSession){

        // 从 resources 中读取json数据
        String dataPath = "SparkSql/src/main/resources/people.json";
        Dataset<Row> df = sparkSession.read().json(dataPath);

        // 列出 DataFrame 的所有数据
        df.show();
    }
}

然后就报了 A master URL must be set in your configuration 这个错误

原因是没有设置 master 的提交方式 (源码给的例子没有设置, 误以为不需要设置)

在查询报错原因时发现还有一种情况就是把 SparkContext 写到main方法外面, 当做公用的对象也会出现这个问题这里记下来以后避免错误

2.解决方法

方法一 :
直接添加 run configration中添加 -Dspark.master=local

方法二
在创建SparkSession实例之前创建 SparkConf 和 SparkContext 并设置master
代码如下


    // 一定要加上 , 配置Master为本地
    SparkConf conf = new SparkConf()
            .setAppName("Sql")
            .setMaster("local");
    JavaSparkContext sc = new JavaSparkContext(conf);

    // SparkSqlContext , HiveContext(Spark1.3以上建议用)
    // 1.创建一个SparkSession对象 , 类始于SparkContext
    SparkSession sparkSession = SparkSession
            .builder() // builder 是用来实例化一个SparkSession对象的
            .appName("SQL")
            .config("spark.some.config.option" , "some-value")
            .getOrCreate();


    runBasicDataFrameExample(sparkSession);
    // 关闭SparkSession
    sparkSession.stop();

这样既可解决