在sparkSQL中无法找到Hive表apache.spark.sql.catalyst.analysis.NoSuchTableException:Table or view ‘emp‘ not f

最新推荐文章于 2022-03-04 18:37:45 发布

RayBreslin

最新推荐文章于 2022-03-04 18:37:45 发布

阅读量5.7k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： SparkSQL Spark 大数据开发文章标签： sparkSQL SparkSession hive enableHiveSupport

本文链接：https://blog.youkuaiyun.com/u010886217/article/details/82924501

大数据开发同时被 3 个专栏收录

204 篇文章

订阅专栏

Spark

68 篇文章

订阅专栏

SparkSQL

16 篇文章

订阅专栏

本文介绍了一位开发者在使用Scala编程，通过SparkSession连接Hive表时遇到的问题及解决方案。问题表现为找不到Hive中的表，但在spark-shell中却能正常访问。原因是SparkSession未开启对Hive的支持。解决方法是在创建SparkSession时添加enableHiveSupport()配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.问题描述

使用Scala编程，通过SparkSession连接hive中的表，但是没有找到，报错：

Exception in thread "main" org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Table or view 'emp' not found in database 'default';

然而，在spark-shell中使用同样的命令，却可以访问到hive中的表。很纠结！

附上代码：

    val spark=SparkSession.builder().appName("HiveMySQLApp").master("local[2]").getOrCreate()
    //加载hive表
    val hiveDF=spark.table("emp")

    //关闭
    spark.close()

2.问题原因

SparkSession没有开启支持hive的功能

3.解决办法

在SparkSession添加支持hive的配置：SparkSession.enableHiveSupport()

    val spark=SparkSession.builder().appName("HiveMySQLApp").master("local[2]").enableHiveSupport().getOrCreate()
    //加载hive表
    val hiveDF=spark.table("emp")

    //关闭
    spark.close()