Hive 2.3.9 错误：Error: Unrecognized column type: UNIONTYPE (state=,code=0)

最新推荐文章于 2023-06-27 16:56:36 发布

原创

最新推荐文章于 2023-06-27 16:56:36 发布 · 2.6k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hive #hadoop

在Hive用csv文件导入uniontype数据至表test_serializer后，使用select * from test_serializer发生错误

Error: Unrecognized column type: UNIONTYPE (state=,code=0)

Hive 版本： 2.3.9

经查，这是一个Hive jdbc在3.0.0版已解决的bug : HIVE-17259

我想试试在不升级版本的情况下解决该bug，设想是在2.3.9版的HIVE JDBC源代码中使用3.0.0版的bug修复代码，即做如下修改：

1. 在apache网站上找到对应版本的hive jdbc源代码并下载

Apache Downloads

2. 找到JdbcColumn.java并修改

新增两行代码如下：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

fujiaming51

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

hive初始化元数据仓库报错：Encountered “＜EOF＞“ at line 1, column 64. (state=42X01,code=30000)

hair请的的博客

10-26

1万+

目录报错内容报错原因解决方案报错内容 which: no hbase in (/usr/local/bin:/usr/local/sbin:/usr/bin:/usr/sbin:/bin:/sbin:/root/bin:/opt/jdk/bin:/opt/jdk/bin:/opt/zookeeper/bin:/opt/jdk/bin:/opt/zookeeper/bin:/opt/hadoop/bin:/opt/hadoop/sbin) SLF4J: Class path contain

基础篇七 Hive-2.3.9安装与配置

Andy的博客

05-29

2750

目录文章导读 Hive下载 Hive安装修改hive-env.sh 编辑增加hive-site.xml Hive启动初始化Hive 启动参考博文文章导读 Hive是基于Hadoop的数据管理工具,通常用于大数据环境下的OLAP系统,本次安装的Hive2.3.9版本是基于Hadoop2.10.1版本 Hive下载进入Apache Hive的官网,找到下载链接进入Hive版本库,这里有各大版本的推荐,和历史版本的仓库,可以根据自己的...

参与评论您还未登录，请先登录后发表或查看评论

hive-jdbc-2.3.7-standalone.jar

11-23

hive-jdbc-2.3.7-standalone,可用dbeaver连接hive数据库，在工具中进行数据库记录的新增改查

hive-jdbc 2.3.9

08-22

argodb亲测可是使用hive驱动包，国产argodb的没有什么资料，当时使用的hive的一套语法，我还发布了其他版本的jdbc包，可以查看其他资源

HiveJDBC4.jar客户端连接hive-jdbc驱动包

12-14

cloudera.com为我们提供的hiveserver2-JDBC驱动包，不需要把10几个jar找齐就能使用了。

【hive】beeline错误：User: root is not allowed to impersonate root (state=,code=0)

BIG BOSS的博客

12-09

1019

Error: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: root is not allowed to imperson...

hive jdbc错误Connection refused (Connection refused) (state=08S01,code=0)

wowYuXuan808的博客

05-14

2685

Error: Could not open client transport with JDBC Uri: jdbc:hive2://192.168.100.132: 10000: java.net.ConnectException: Connection refused (Connection refused) (state=08S01,code=0) 没有开启hiveServer2 开启命令 hive --service hiveserver2 如果没添加环境变量，那就到hive的bin目录下去执

Hive错误：Error: FUNCTION 'NUCLEUS_ASCII' already exists. (state=X0Y68,code=30000)

doupeihua的专栏

09-10

8001

错误现象： ----------------------------------------------------------------------------------------------------------------- doupeihua@doupeihua-2104 ~/software/hive/bin $ schematool -initSchema -dbTyp

hive3.1.2在进行初始化的时候出现Error: Table ‘CTLGS‘ already exists (state=42S01,code=1050)的错误提示。

dai413的博客

06-08

2319

hive3.1.2在进行初始化的时候出现Error: Table ‘CTLGS’ already exists (state=42S01,code=1050)的错误提示。在hive的初始化过程中出现Error: Table ‘CTLGS’ already exists (state=42S01,code=1050)的错误提示。这里的问题应该是在连接的数据库中已经存在hive所需要的数据表，像metastore数据一样。进入到要连接的数据库下面，查看是否有一个hivemeta的database。有则删除。..

Windows下 IDEA编译调试 hive2.3.9

有问题的请私信或关注v【技术印记】留言

02-24

1053

hive2源码编译

apache-hive-2.3.9，linux安装包

05-06

apache-hive-2.3.9，linux安装包

【Hadoop2.7.3上部署zeppelin-0.10.1】

pblh123的专栏

09-26

1119

hadoop2.7.3,zeppelin0.10.1,zeppelin安装部署，一键启动

Hive2.3.9配置与安装

yyyyy666_111的博客

06-27

1429

将当前路径切换到hive的配置文件路径：cd $HIVE_HOME/conf（如果直接执行进不去这个目录，可以先进入主目录 cd /usr/local，再切换到conf目录。6.Driver上交plan给执行器去执行，获取元数据信息，提交给JobTracker或者ResourceManager去处理该任务，任务会直接读取HDFS中文件进行相应的操作。下载hive2.3.9的安装包（apache-hive-2.3.9-bin.tar.gz），点击下面的链接下载自己需要的版本。

Hive安装测试使用记录

qq_44153452的博客

11-04

2596

Hive安装与测试记录安装前准备安装Hive创建Hbase映射表将Hive以服务形式后台启动使用beeline方式连接使用DBeaver可视化工具链接HiveJAVA使用JDBC连接Hive 安装前准备需要装的软件版本 mysql 5.7.24 hadoop 3.0.0 hbase 1.3.1 zookeeper 3.4.11 因为服务器是公司测试服务器 , 所以这四个都已经是安装好的了 , 不做过多介绍 , 安装教程自行百度安装Hive 下载地址 : https://

java.sql.SQLException的常见原因

龙腾四海365的专栏

09-24

1599

java.sql.SQLException的常见原因解析： B.当driverName写错时，会报ClassNotFoundException C.应该是列名有错 D.有两种状况：1）字符集问题； 2）插入的值的长度超过字段的长度

HIVE(hive-site.xml)配置

最新发布

07-26

在Hive处理任务时，`exitCode=1`表示任务执行失败，通常与语法错误、资源不足、权限问题或数据处理逻辑异常有关。解决此类问题需要结合具体日志和环境配置进行排查。以下是常见原因及对应的解决方法： ### 1. **语法错误或SQL语句问题** - Hive任务在执行过程中若检测到SQL语法错误或表不存在，可能导致任务失败。 - 检查HiveQL语句的拼写、关键字使用是否正确，确保表结构与查询语句匹配。 - 示例：若查询中引用了不存在的列或表，Hive会抛出异常并返回`exitCode=1`。 ### 2. **资源不足** - Hive任务在YARN上运行时，若请求的内存资源超过集群配置上限，任务将被拒绝，导致失败。 - 错误信息可能包含`InvalidResourceRequestException`，提示内存请求超出限制[^3]。 - 解决方法：修改`yarn-site.xml`中的`yarn.nodemanager.resource.memory-mb`配置，增加可用内存。例如将值从`1024`提升至`2048`，并重启YARN服务。 ### 3. **权限问题** - Hive任务涉及文件系统操作时，若用户权限不足，可能导致任务失败。 - 检查Hive用户对HDFS路径的读写权限，确保用户拥有操作所需权限。 - 若启用了Kerberos认证，需确认Hive用户的Keytab文件已正确生成，并完成认证流程[^3]。 ### 4. **数据精度问题** - Hive中使用`double`类型进行除法运算时，精度仅支持到小数点后16位，可能导致计算结果与预期不符，间接引发逻辑错误[^1]。 - 示例：`ceil(28.0/6.999999999999999999999)`的结果为`4`，而`ceil(28.0/6.99999999999999)`的结果为`5`，这是由于浮点数精度限制导致的差异[^1]。 - 解决方法：在需要高精度计算的场景中，使用`decimal`类型替代`double`。 ### 5. **日志分析与调试** - 查看Hive任务的详细日志，通常日志中会包含具体的错误信息，帮助定位问题。 - 在Hive CLI中执行任务时，可启用详细模式查看更多信息： ```sql SET hive.root.logger=DEBUG,console; ``` ### 6. **配置问题** - 检查Hive配置文件（如`hive-site.xml`）中的参数是否正确，尤其是与HDFS、YARN集成相关的配置。 - 确保Hive表的存储格式、分隔符等与数据文件匹配，避免读取失败。 ### 7. **环境依赖问题** - 确保Hive、Hadoop、YARN等组件版本兼容，避免因版本不一致导致任务失败。 - 检查Hive是否能够正常访问HDFS，测试命令如： ```bash hadoop fs -ls / ``` ### 8. **插入数据问题** - 若任务涉及数据插入，需确保目标表结构与插入数据匹配。 - 示例：插入数据时，若字段类型不匹配或字段数量不一致，可能导致任务失败[^2]。 ### 9. **引擎问题** - 若使用Tez作为执行引擎，检查Tez配置是否正确，确保Hive能够正常加载Tez库。 - 启动Hive时，确认是否已正确设置`hive.execution.engine`参数为`tez`。 ### 10. **Kerberos认证问题** - 若Hive启用了Kerberos认证，需确保用户已正确获取票据，执行命令如： ```bash kinit -kt /path/to/hive.keytab hive/hostname@REALM ``` - 检查Kerberos配置文件（如`krb5.conf`）是否正确，确保认证流程无误。