org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database ‘dwd‘ not found

最新推荐文章于 2022-04-26 16:26:38 发布
最新推荐文章于 2022-04-26 16:26:38 发布
阅读量3.2k 收藏 3
点赞数
分类专栏： 大数据 文章标签： spark hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/MissWYAN/article/details/104699664
版权
在使用Spark连接Hive时遇到错误：org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'dwd' not found。实际上Hive中存在该库，问题在于Spark未开启对Hive的支持。解决此问题只需确保在Spark配置中启用Hive支持。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

spark操作hive时，报错如下：
在这里插入图片描述
实际上hive中是有这个库的，后来查看了一下，是因为spark没有开启对hive的支持
在这里插入图片描述
加上这个就好了

Spark踩坑
寄情于码
09-22 5862
Spark sql以elasticSearch为数据源，访问数据，问题记录表： 问题1： java.lang.RuntimeException: java.io.InvalidClassException: org.apache.spark.rpc.netty.RequestMessage; local class incompatible: stream classdesc serialVe
Spark SQL 2.3.0：深入浅出
08-20
Spark SQL 2.3.0：深入浅出，看了下，还行，希望对大家有帮助
org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'traffic' not found;
zzw_17600691357的博客
07-15 5854
spark向hive中写入数据时，提示找不到已经创建完成的数据库， org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'traffic' not found; 我的问题出现原因： 没有为spark设置hive的路径 解决方案： 将hive客户端的hive-site.xml放入到spark的conf目...
spark1.6升级2.3读取hive表报错NoSuchDatabaseException: Database 'ods' not found
zhiaixiatian的专栏
10-30 2386
升级完spark后，通过spark-submit 操作hive报错，如下： org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'ods' not found; at org.apache.spark.sql.catalyst.catalog.SessionCatalog.org$ap...
spark读取Hive出错： Database 'test1' not found
BigData_Mining的博客
07-03 6275
错误：找不到数据库。Exception in thread "main" org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'test1' not found;解决方案：加上enableHiveSupport()即可，否则默认不读hive-site.xml。val spark = SparkSessio...
spark写入hive中提示找不到数据库解决办法
这个人很懒什么都没有留下
04-26 3936
WARN metastore.ObjectStore: Failed to get database odsl, returning NoSuchObjectException Exception in thread “main” org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database ‘odsl’ not found; 解决方法 将hive配置复制到spark cp hive-site.xml /opt/soft/s
org.apache.spark.sql.AnalysisException: Try to map struct<>to Tuple1 异常
遥望......
10-01 3304
spark.read.parquet(mypath).as[MyEntity]会遇到下面异常 org.apache.spark.sql.AnalysisException: Try to map struct to Tuple1, but failed as the number of fields does not line up.; at org.apache.spark.sql.ca
spark创建hive外部表失败
liminghui4321的博客
12-06 2283
问题1：spark版本问题 一般碰到结尾为V，很可能是版本问题 <spark.version>2.4.0</spark.version> 问题2：一直报库不存在 org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'user_profile0224' not found; 解决办法： a.检查hadooponwindows-master环境变量 b.增加配置 .se.
sparkSql连接hive，找不到Hive数据库或Hive表
搬砖的鱼的博客
09-27 8010
项目场景： spark整合Hive，idea本地用spark读取Hive中的数据 问题描述： 在hive客户端查看数据库spark是存在的但是用spark连接Hive查不到数据库spark hive> show databases; OK default spark Time taken: 0.11 seconds, Fetched: 3 row(s) 原因分析： spark没找到Hive的元数据 解决方案： 加上元素据配置，hive.metastore.uris scala中整合Hive
IDEA中使用SparkSQL连接Hive数据库报错：找不到表Table or view 'emp' not found
BigData_Mining的博客
07-03 8713
错误信息：Exception in thread "main" org.apache.spark.sql.catalyst.analysis.NoSuchTableException: Table or view 'emp' not found in database 'test1';解决方案：需要将hive-site.xml这个文件拷贝到resource下。问题解决！！...
在sparkSQL中无法找到Hive表apache.spark.sql.catalyst.analysis.NoSuchTableException:Table or view ‘emp‘ not f
小蚯蚓的博客
10-02 5771
1.问题描述 使用Scala编程，通过SparkSession连接hive中的表，但是没有找到，报错： Exception in thread "main" org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException:Table or view 'emp' not found in database 'default'; ...
通过py文件将文件中的数据导入到hive遇见的问题
大数据学习笔记
06-06 1446
因需要通过任务的方式执行将文本的数据导入到HIVE数据库中。所以考虑每次的任务通过命令执行py文件的方式来实现定时导入文件到HIVE数据库中。所以先做了一个测试，但是出行一些问题，现记录下来，供以后查看。测试脚本如下：# -*- coding: utf-8 -*-  from __future__ import print_functionfrom pyspark.sql import Spark...
org.apache.spark.sql.AnalysisException: Table or view not found spark操作时报错
viho+的博客
04-28 2476
org.apache.spark.sql.AnalysisException: Table or view not found spark操作时报错 将HIVE_HOME/conf的hive-site。xml copy到SPARK_HOME/conf中 问题解决。
Sparksql 一个错误：org.apache.spark.sql.AnalysisException: character '　' not supported here;
热门推荐
mtj66的博客，交流WX:SpringBreeze1104
09-21 2万+
遇到如下错误，但是在hive中单独运行，或者是在spark-shell中单独运行的也是毫无问题的，为何偏偏在sparksql中出问题，而且不存在所说的那个 character ’　’ 。 还有就是我这个临时表本来是采用insert overwrite的也是正确的。 或许应该是，解析有点问题。错误日志： Exception in thread “main” org.apache.spark.sq
spark读取Hive出错： Database 'hxh' not found;
hexinghua0126的博客
07-03 2307
提示spark读取hive找不到库 Exception in thread "main" org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'hxh' not found; at org.apache.spark.sql.catalyst.catalog.ExternalCatalog.requi...
Exception in thread "main" org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'test' not found;
05-17
这个错误提示是因为你在Spark中尝试访问一个不存在的数据库。请确认你在Spark中是否正确地指定了数据库的名称，或者先创建该数据库。你可以使用以下命令在Spark中创建一个新的数据库： ``` spark.sql("CREATE DATABASE IF NOT EXISTS test") ``` 这将在Spark中创建一个名为“test”的新数据库，如果该数据库已经存在，则不会进行任何操作。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱，希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值