sparkwithhive读写hive数据库某种报错解决

原创

已于 2022-04-17 12:14:37 修改

· 2k 阅读

2 ·

版权

文章标签：

#spark #hive

于 2022-04-17 12:14:07 首次发布

本文介绍了在大数据环境中，Spark与Hive结合使用时遇到的两种错误及解决办法。错误包括Hive元数据连接问题和SSL配置问题。解决方法包括确认hive-site.xml配置正确，赋予Hive用户数据库表权限，以及在hive-site.xml中设置&useSSL=false。通过这些步骤，可以成功解决Spark读写Hive数据的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在大数据技术中，Hive 擅长元数据管理，而 Spark 的专长是高效的分布式计算，二者的结合将呈现’1+1>2’的效果。当Spark 把Hive 当成是一种元信息的管理工具，需要配置"spark with hive"。
本人配置完后在用spark连接hive读写数据时，出现了以下两种错误：

 1.Caused by: java.sql.SQLException: Unable to open a test connection to the given database. JDBC url = jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

马里奥w

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

hive+hbase学习手册

尬聊码农

05-13

1144

hive学习手册一、hive入门手册 1.什么是数据仓库 1.1数据仓库概念对历史数据变化的统计，从而支撑企业的决策。比如：某个商品最近一个月的销量，预判下个月应该销售多少，从而补充多少货源。 1.2传统数据仓库面临的挑战（1）无法满足快速增长的海量数据存储需求（2）无法有效处理不同类型的数据（3）计算和处理能力不足 1.3 Hive介绍 Hbase支持快速的交互式的大数据应用 ...

大数据运维存档（8）数仓构建与Hive实现常识整理、生产中调优

Big_data_implicit_

12-27

5225

目录一、数仓基础 1、数仓基本介绍 1.1、数仓基本概念 1.2、数仓的定义 1.2.1、面向主题 1.2.2、集成性 1.2.3、稳定性 1.2.4、时变性 1.3、数据仓库与数据库的区别 1.4、构建数仓常用手段 1.5、数仓分层 1.5.1、数仓分层描述 1.5.2、为什么要进行数仓分层 1.6、获取数据 1.7、同步策略 2、数据仓库建模 2.1、范式建模法（Third Normal Form 3NF） 2.2、维度建模法 2.2.1、维度表 2.2.2、事

参与评论您还未登录，请先登录后发表或查看评论

Spark读取hive表元数据异常

shuijing55hi的博客

08-06

1037

在ETL接入数据时，需要对表新增字段，因为表的特殊性质，存在实时接入更新三个月历史数据的情况，故该表的小文件很多，在通过hive增加字段的时候，spark没有立即生效，导致用hive命令修改元数据后, hive表的元数据信息和spark-SQL的schema不一致。考虑到之前执行refresh的时候有进行小文件合并，中间有杀掉小文件合并进程，有可能是影响了refresh，故再进行了小文件合并后又重新执行了refresh，才成功了，且最后一个是通过spark shell执行的。命令用于刷新表的元数据。

Hive表字段值中存在换行符，查询结果混乱进而导致插入失败

Java/Python大数据随笔

02-23

958

从上面结果可以看到，若Hive表字段值中存在换行符，MapReduce和Spark引擎的查询结果出现混乱。自动化调度系统在按周期天执行数据迁移（出库）任务时，在执行到某条SQL时报错，最终导致任务失败。由于我们的调度系统设置的执行引擎为Spark，因此，原本查询的一行结果会被字段值中的换行符。报错信息提示语法问题，可是检查SQL发现也没有什么语法问题，这到底是怎么回事呢？这样，我们的数据才会显示正常，报错问题也就解决了。转换为多行，查询结果结构混乱，最终导致插入失败。使用两个反斜杠，即一个反斜杠用来转义。

【大数据技术】搭好的集群使用Spark-SQL连接Hive后，无法再次正常使用hive查询数据

u011762522的博客

08-27

1292

【大数据技术】搭好的集群使用Spark-SQL连接Hive后，无法再次正常使用hive查询数据

使用spark往hive插数报错Dynamic partition strict mode requires at least one static partition column. To tur

孙琨SealSun

09-20

4568

#报错 User class threw exception: org.apache.spark.SparkException: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nons...

--------------------通过spark2.x版本将数据导入hive中出现的问题-----------------------

weixin_30430169的博客

09-20

476

一：将数据手动导入hive中（1）先将数据和脚本用上传工具传入/home/hadoop中（2）在虚拟机中./hive -f /home/hadoop/createHiveTab.sql 运行该命令，数据将手动导入hive中 (在这里注意hive -f 和 hive -e 的区别)： ./hive -f /home/hadoop/createHiveTab.sql...

hive-3

leezsj的博客

07-13

692

⼆级分区⼆级分区指的是在⼀张表中有两个分区,创建和插⼊时都要指定两个分区名,最常⻅的就是下⾯案例的年和⽉,创建的语法和流程都是和⼀级分区⼀样,只是多⼀个分区⽽已. create table if not exists part2( id int, name string ) partitioned by (year string,month string) row format delimited fields terminated by ','; load data local inpath

32-spark项目优化方案

huaxing_ba的博客

06-17

711

spark性能优化

SparkSQL on Hive的配置和使用

lixinkuan的博客

10-13

1032

一、概述 Spark on Hive：Hive只作为储存角色，Spark负责sql解析优化，执行。二、具体配置 1、在Spark客户端配置Hive On Spark 在Spark客户端安装包下spark-1.6.0/conf中创建文件hive-site.xml（配置hive的metastore路径）： <?xml version="1.0" encoding="UTF-8...

解决spark中读取本地文件报Unable to open a test connection to the given database错误

知其然，知其所以然

04-02

1268

美图欣赏：一.程序读取本地的json文件 object InputOutputDemo { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .appName(this.getClass.getName) .master("local[2]") ...

java.sql.SQLException: Unable to open a test connection to the given database. hive.

weixin_40072511的博客

09-16

721

java.sql.SQLException: Unable to open a test connection to the given database. hive.配置文件错误不能换行配置文件错误不能换行

Hive 异常java.sql.SQLException: Unable to open a test connection to the given database.

qq_37083305的博客

01-09

1119

Hive 笔记异常java.sql.SQLException: Unable to open a test connection to the given database. 在学习Hive时，每次运行几个小时总是断开连接，报错。看了很多方法，最后是通过删除log文件解决的。可能是用的虚拟机，设置的内存不大的原因吧，这个未知，懂的小伙伴留言分享下。具体方法如下：我是先查看了MySQL的状态： services status mysql 返回：mysql is not running but lock ex

Hive 笔记异常java.sql.SQLException: Unable to open a test connection to the given database.

qq_35240673的博客

08-30

2970

链接不上mysql 在确定mysql没有问题的情况下修改配置文件因为我的mysql和hive是在同一台主机所以将ip地址改为本机

Hive 笔记异常(java.sql.SQLException: Unable to open a test connection to the given database. JDBC url =)