spark读取Hive出错： Database 'test1' not found

最新推荐文章于 2022-10-26 23:11:10 发布
最新推荐文章于 2022-10-26 23:11:10 发布
阅读量6.2k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Spark 文章标签： Database 'test1' not found
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/BigData_Mining/article/details/80895084

错误：找不到数据库。

Exception in thread "main" org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'test1' not found;

解决方案：

加上enableHiveSupport()即可，否则默认不读hive-site.xml。

val spark = SparkSession.builder().master("local[2]").appName("HiveJoinMySql").enableHiveSupport().getOrCreate()


org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database ‘dwd‘ not found
打工日常
03-06 3252
spark操作hive时，报错如下： 实际上hive中是有这个库的，后来查看了一下，是因为spark没有开启对hive的支持 加上这个就好了
Spark环境中的数据库操作
BitCodeW的博客
09-19 269
根据你使用的数据库类型，你需要下载相应的数据库驱动程序，并将其添加到Spark的classpath中。你只需根据相应的数据库类型提供正确的驱动程序和连接URL，即可在Spark中进行数据库操作。Spark提供了强大的库和工具，可以方便地连接和操作各种类型的数据库。总结起来，Spark环境中的数据库操作是一项重要的任务，可以通过SparkSession和相关的库和工具来实现。上述代码首先创建了一个名为"Database Example"的SparkSession，并配置了MySQL数据库的连接信息。
spark读取Hive出错： Database 'hxh' not found;
hexinghua0126的博客
07-03 2315
提示spark读取hive找不到库 Exception in thread "main" org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'hxh' not found; at org.apache.spark.sql.catalyst.catalog.ExternalCatalog.requi...
spark写入hive中提示找不到数据库解决办法
这个人很懒什么都没有留下
04-26 3960
WARN metastore.ObjectStore: Failed to get database odsl, returning NoSuchObjectException Exception in thread “main” org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database ‘odsl’ not found; 解决方法 将hive配置复制到spark cp hive-site.xml /opt/soft/s
Database “/root/test“ not found h2
u012956987的博客
04-12 1797
这个报错主要是 官方不在自动创建数据库了，在命令后面 加上-ifNotExists 就可以了，我也找了半天烦死了 Database "/root/test" not found java -cp h2-1.4.199.jar org.h2.tools.Server -web -webAllowOthers -tcp -tcpPort 19200 -tcpAllowOthers -ifNotExists ...
spark1.6升级2.3读取hive表报错NoSuchDatabaseException: Database 'ods' not found
zhiaixiatian的专栏
10-30 2396
升级完spark后，通过spark-submit 操作hive报错，如下： org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'ods' not found; at org.apache.spark.sql.catalyst.catalog.SessionCatalog.org$ap...
sparkwithhive读写hive数据库某种报错解决
weixin_45949840的博客
04-17 2064
sparkwithhive读写hive数据库报错解决
Spark SQL 读取Hive数据报错:The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the C
muyingmiao的专栏
10-14 976
将Hive的配置文件拷贝到Spark中后，启动spark-shell scala> spark.sql("show databases").show 报错如下 org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver ("com.mys...
Idea上 使用Spark3.0 sql 操作hive
u014034497的专栏
10-26 1390
前提：按照以下集群规划安装好HDFS,Hadoop Yarn。
[亲身实践]pyspark读取hive中的表的两种方式
m0_46651978的博客
12-24 5208
1.window上无法连接到hive,linux上能连接到hive 法一 (1)把/opt/soft/hive110/conf/hive-site.xml复制到/opt/soft/spark234/conf/hive-site.xml hive-site.xml不用改变任何东西 (3)开始启动pyspark [root@joy sbin]# ./start-all.sh starting org.apache.spark.deploy.master.Master, logging to /opt/s
python使用spark_在python中使用pyspark读写Hive数据操作
weixin_39768083的博客
11-23 582
1、读Hive表数据pyspark读取hive数据非常简单，因为它有专门的接口来读取，完全不需要像hbase那样，需要做很多配置，pyspark提供的操作hive的接口，使得程序可以直接使用SQL语句从hive里面查询需要的数据，代码如下：from pyspark.sql import HiveContext,SparkSession_SPARK_HOST = "spark://spark-mas...
org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'traffic' not found;
zzw_17600691357的博客
07-15 5866
spark向hive中写入数据时，提示找不到已经创建完成的数据库， org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'traffic' not found; 我的问题出现原因： 没有为spark设置hive的路径 解决方案： 将hive客户端的hive-site.xml放入到spark的conf目...
【大数据分析】Spark的二次开发工程edata-base，介绍
sword_csdn的博客
07-26 936
edata-base是基于Spark的大数据二次开发库，它封装了Spark与其他常用中间的使用方法，使得基于Spark的开发更加简便。源码仓库地址httpsedata-base规定了SparkAPI与其他中间件API的版本，自定义Spark工程可以自行引用，edata-base-component引用了这个父工程。......
Spark save to database 控制连接数的另外一种模式
weixin_40455124的博客
07-17 320
在前一篇博文中提到save本质是shuffle ，可以通过shuffle来控制连接数量，但还有一种模式可以结合控制，就是将partition数量合并小于shuffle数量，关键代码如下 Dataset<Row> df5 = df3.coalesce(1); System.out.println("start to save :" + (new Date()) ); //df3.foreachPartition(func); df5.write().mode(Sa
sparksql table not found错误
qq_39719415的博客
07-18 2566
一般情况下可以先去看看是不是自己的表名写错了，当然我遇到的一种情况是下面这样的： 使用hiveContext读取一张表，并注册为一张临时表（dataFrame.registerTemptable()）， 使用sqlContext读取另一张表，并注册为临时表，随后我再使用sqlContext.sql(“两表关联sql语句”)，运行报错"table not found", 仔细研究之下突然想到了一个知...
执行spark sql 遇到的问题
baiyangfu的专栏
10-23 1万+
总结一下执行spark sql遇到的问题： 没
启动spark-shell后出现not found错误
热门推荐
PanPan的专栏
10-09 1万+
我曾遇到了类似于这样的问题： error:not found:value sqlContext error:not found:value sc 解决方案： 1.查看ifconfig，看ip地址是否和你在/etc/hosts中的ip地址一致，如果不一致，请修改/etc/hosts中的ip地址。 2.查看spark-env.sh中配置的SPARK_MASTER_IP是否和ifconfig中
org.apache.spark.sql.AnalysisException: Try to map struct<>to Tuple1 异常
遥望......
10-01 3310
spark.read.parquet(mypath).as[MyEntity]会遇到下面异常 org.apache.spark.sql.AnalysisException: Try to map struct to Tuple1, but failed as the number of fields does not line up.; at org.apache.spark.sql.ca
在sparkSQL中无法找到Hive表apache.spark.sql.catalyst.analysis.NoSuchTableException:Table or view ‘emp‘ not f
小蚯蚓的博客
10-02 5786
1.问题描述 使用Scala编程，通过SparkSession连接hive中的表，但是没有找到，报错： Exception in thread "main" org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException:Table or view 'emp' not found in database 'default'; ...
dolphinschedule执行hive： hive: command not found
最新发布
08-08
当你尝试通过DolphinScheduler（一个用于调度工作流的任务管理工具）执行Hive任务时，遇到`command not found`错误意味着系统找不到Hive命令。这通常是因为Hive并没有添加到系统的PATH环境变量中，或者虽然安装了Hive，但在当前的工作目录或者DolphinScheduler的环境中未配置好。 解决这个问题的步骤如下： 1. **检查安装**：确认Hive是否已经成功安装并且在系统中可用。可以在命令行中尝试直接输入`hive`, 如果可以正常启动Hive shell，则说明Hive已安装并配置。 2. **更新环境变量**：确保Hive的bin目录被包含在系统PATH中，这样无论在哪个目录下都能找到Hive命令。在Linux中，编辑`~/.bashrc` 或 `~/.bash_profile` 文件，并添加`export PATH=$PATH:/path/to/hive/bin`。 3. **配置DolphinScheduler**：如果使用DolphinScheduler，需要在DolphinScheduler的配置文件中指定Hive的路径。这通常涉及到修改作业脚本或作业配置，让它们能引用正确的Hive执行路径。 4. **重启Shell**：在修改完环境变量后，记得关闭并重新打开终端，让新设置生效。 5. **测试命令**：再次尝试运行`hive`看是否能成功。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值