spark-sql启动报错：Error creating transactional connection factory

最新推荐文章于 2023-12-27 14:59:51 发布
原创 最新推荐文章于 2023-12-27 14:59:51 发布 · 2.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Error creating transactional c

原因：我们在安装Hive时候，是用的MySQL作为元数据服务器的，因此再启动spark-sql时候需要对应的mysql的jar包的支持。
解决方案：只需要在启动spark-sql的时候指定mysql-connector-java-5.1.26.jar位置即可。
即：bin/spark-sql --driver-class-path /usr/local/hive/lib/mysql-connector-java-5.1.26.jar

Spark报错：JDOFatalInternalException: Error creating transactional connection factory
九师兄
07-04 1238
1.美图 2.背景 写了一个spark测试了 @Test def nowTest(): Unit ={ val spark = SparkSession.builder.appName("JavaStructuredKafka").master("local[4]").enableHiveSupport.getOrCreate val socketLine = spark....
HBase实战（5）：Spark SQL+Hive +HBASE 使用Spark 操作分布式集群HBASE
大模型与Agent智能体
06-14 3214
HBase实战（5）：Spark SQL+Hive +HBASE 使用Spark 操作分布式集群HBASE1，基于spark 2.3.0 直接进入spark sql 客户端，提示出错，找不到“com.mysql.jdbc.Driver”root@master:/usr/local/spark-2.3.0-bin-hadoop2.6/bin# spark-sql SLF4J: Class path ...
spark访问Hive错误Error creating transactional connection factory
Big_data_implicit_
12-13 2783
1、使用windows访问集群时，需要装utils 位置：直接下载https://github.com/cdarlint/winutils 找到对应版本，并在windows环境变量中新建：HADOOP_HOME 2、Error creating transactional connection factory 其它配置请参见之前的一篇配置文章： spark02： 围绕Spark3.0.1为主Hadoop3.2、Mysql、Hbase2.3.3、Hive3.1.2、ZooKeepe...
Spark-Sql启动报错：Error creating transactional connection factory
热门推荐
METON的博客
08-28 1万+
1、SparkSQL配置    将$HIVE_HOME/conf/hive-site.xml配置文件拷贝到$SPARK_HOME/conf目录下。    将$HADOOP_HOME/etc/hadoop/hdfs-site.xml配置文件拷贝到$SPARK_HOME/conf目录下。 2、运行SparkQL    在 cd /usr/local/spark,下运行 ./bin/spar
Spark 连接hive，启动spark-shell报错：Error creating transactional connection factory
qq_32783151的博客
05-09 777
在使用Spark连接HIve，启动spark-shell的时候，报错： Error creating transactional connection factory 输入命令为：./spark-shell --master spark://nodes03:7077 此时已经将$HIVE_HOME/conf/hive-site.xml，$HADOOP_HOME/etc/hadoop/core-site.xml hdfs-site.xml拷贝到$SPARK_HOME/conf下，但是依然报错。 解决办法如下
MetaException(message:Error creating transactional connection factory)
zx1280354015的博客
05-21 1103
hive启动报错Caused by: java.net.ConnectException: Connection refused (Connection refused)
[root@slave2 ~]# hive --service metastore 2025-11-25 15:36:42: Starting Hive Metastore Server MetaException(message:Error creating transactional connection factory) at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.j
最新发布
11-26
首先，用户的问题是关于解决启动Hive Metastore Server时出现的MetaException错误，错误信息是"Error creating transactional connection factory"。从引用中可以看出，这通常与数据库连接问题有关，特别是当Hive...
Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver ("com.mysql.cj.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver. at org.datanucleus.store.rdbms.connectionpool.AbstractConnectionPoolFactory.loadDriver(AbstractConnectionPoolFactory.java:58) at org.datanucleus.store.rdbms.connectionpool.DBCPConnectionPoolFactory.createConnectionPool(DBCPConnectionPoolFactory.java:50) at org.datanucleus.store.rdbms.ConnectionFactoryImpl.generateDataSources(ConnectionFactoryImpl.java:213) ... 148 more 52195 [main] WARN org.apache.hadoop.hive.metastore.HiveMetaStore - Retrying creating default database after error: Error creating transactional connection factory javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
10-19
- 引用[1]：建议在启动spark-sql时加上--jars选项指定MySQL驱动的JAR文件路径，例如：spark-sql --jars /home/hadoop/jars/mysql-connector-java-5.1.46-bin.jar - 引用[2]：同样讨论了解决类似错误的方法。 - 引用...
大数据系列五：Hive
dustzhu的博客
06-26 2484
一.前言 Hive是建立在Hadoop之上的数据仓库，由Facebook开发，现在是apache顶级开源项目；它依赖于HDFS存储数据，依赖MR处理数据；不完全支持SQL标准，其事务支持，索引，子查询和连接操作也存在很多限制，新版本已经支持update,但效率不高； Hive主要由三个模块： 1.用户接口模块，含CLI、HWI、JDBC、Thrift Server 。 2.驱动模块(Driver)，含编译器、优化器、执行器等 。 3.元数据存储模块(Metastore)，是一个独立的关系型数据库，通常与M
启动hive报错org.datanucleus.exceptions.NucleusException:Error creating transactional connecCtion factory
哇咔咔哇咔的博客
12-26 2031
启动hive报错org.datanucleus.exceptions.NucleusException:Error creating transactional connecCtion factory
IDEA中运行SparkSql报javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
森屿旅人996的博客
07-20 1646
在IDEA中运行SparkSql，报错如下 20/07/20 21:16:25 WARN HiveMetaStore: Retrying creating default database after error: Error creating transactional connection factory javax.jdo.JDOFatalInternalException: Error creating transactional connection factory at org.datanuc
启动hive时报错：javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
weixin_43467992的博客
01-12 9912
通过hive --service metastore &amp; 命令启动hive时报错： hive下hive -site.xml配置错误，重新配置了下好了（我的hive是整合了hue的） 下面是我的配置信息 hive.server2.thrift.port 10000 hive.server2.thrift.bind.host mini1 hive.server2.long.p...
使用idea集成开发工具， 使用sparksql对hive数据进行操作报错 Error creating transactional connection factory javax.jdo.JDOF
T_Y_F_的博客
12-20 1096
使用idea集成开发工具， 使用sparksql对hive数据进行操作报错 Error creating transactional connection factory javax.jdo.JDOF
spark-shell启动出现的Error creating transactional connection factory解决办法
Hiwes的博客
06-13 4677
版本信息：Spark：2.2.0-bin-2.6.0-cdh5.7.0Hive：1.1.0-cdh5.7.0MySQL：5.7.22问题：在使用Spark连接HIve，启动spark-shell的时候，报错:此时输入命令为：bin/spark-shell --master lcoal[2]此时已经将$HIVE_HOME/conf/hive-site.xml拷贝到$SPARK_HOME/conf下，...
spark-sql 报错：Exception thrown flushing changes to datastore
赵英超的博客
05-10 1173
spark-sql hive
使用spark.sql运行任务出现See the nested exceptionorg.datanucleus.exceptions.NucleusException: Error creatin
ryse1461的博客
12-27 890
经过查找网上没有给出明确的解决方法，均是模糊不清。不过也有道友出现类似的情况，通过日志定位到问题所在应为Spark/Jars文件夹下缺少mysql-connector.jar包，从而无法访问Hive的metastore。
hive --service metastore 启动报错
m0_54233757的博客
08-02 6661
Hadoop@masterHive]$2021-10-28153757StartingHiveMetastoreServeratorg.apache.hadoop.hive.metastore.RetryingHMSHandler.(RetryingHMSHandler.java84)atorg.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java93)atorg.
@Transactional事务回滚异常：Transaction rolled back because it has been marked as rollback-only
程序员Forlan的博客
01-08 1万+
本文主要探讨了一个常见的Spring框架中的事务管理问题，即事务回滚异常@Transactional。首先，通过问题描述，让读者了解这个问题的现象和影响。然后，通过原因分析，深入解析了导致这个问题的几种可能原因，包括异常示例代码和查看源码。最后，通过解决方案部分，给出了解决这个问题的几种方法，并推荐了最佳实践。通过本文，读者可以更好地理解Spring框架中的事务管理机制，并学会如何解决常见的事务回滚异常问题。
MetaException(message:Error creating transactional connection factory)报错怎么办
03-26
MetaException(message:Error creating transactional connection factory)报错通常表示在Hive中创建事务连接工厂时出现了错误。解决此错误的步骤如下： 1. 检查Hive Metastore的日志文件，以查看更详细的错误消息...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值