Hive使用多字符分隔符建表失败

已于 2022-04-19 16:59:10 修改
阅读量749 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 问题解决 文章标签： hive
于 2022-04-19 16:02:27 首次发布
原文链接：https://blog.youkuaiyun.com/duyuanhai/article/details/117822751
本文介绍了在Hive中创建使用多分隔符的表时遇到的错误`Cannot validateserde:org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe`。解决方法包括在Hive客户端添加jar文件并重启Hiveserver。如果查询仍然失败，需要将jar文件添加到所有Hive节点的lib目录并重启服务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

create table test_hold(
       id    string
      ,name  string
      ,card  string
      ,aum   string
) 
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' 
WITH SERDEPROPERTIES ("field.delim"="@!@");

当hive创建多分隔符表的时候，会报错Cannot validate serde:org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe

解决方法：

在hive客户端执行：

add jar /opt/cloudera/parcels/CDH/lib/opt/cloudera/parcels/CDH/lib/hive/contrib/hive-contrib-2.1.1-cdh6.3.2.jar

hive本身带有这个jar，但是没有add，执行以后就可以使用多字符分隔符建表

如果创建以后查询失败，或数据库查询工具查询报错

解决方法:

将该jar加入到Hive的所有节点 lib目录下，重启hive server

原文链接：https://blog.youkuaiyun.com/duyuanhai/article/details/117822751

【大数据Hive】hive 多字段分隔符使用详解
congge_study的博客
03-03 8282
hive 多字段分隔符使用详解
Hive多字节分隔符解决方案
石榴姐yyds
05-29 5986
1 应用场景 1.1 Hive中的分隔符 Hive中默认使用单字节分隔符来加载文本数据，例如逗号、制表符、空格等等，默认的分隔符为\001。根据不同文件的不同分隔符，我们可以通过在创建表时使用 row format delimited fields terminated by ‘单字节分隔符’ 来指定文件中的分割符，确保正确将表中的每一列与文件中的每一列实现一一对应的关系。 1.2 特殊数据 在实际工作中，我们遇到的数据往往不是非常规范化的数据，例如我们会遇到以下的两种情况 情况一：每一.
【hive/beeline/spark】建表多分隔符，报：org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe
Jack_Roy的博客
01-19 3461
【hive/beeline/spark】建表多分隔符，报：org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe前言HIVE SHELL调整报错解决方案BEELINE调整报错解决方案SPARK调整解决方案后记 前言 大数据平台数据入湖逻辑执行方式从Impala改为beeline（连接hive）的方式后，在sql语句层面上做了一些调整（如DDL语句、分区字段等）。而后又发现，切换后hive默认不支持多字符作为行分隔符，设置多个字符==!@!==，但只会识
Cannot validate serde: org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe
小海的专栏
06-11 1936
hive建表使用多字符分隔符的时候，需要在hive客户端执行: add jar /opt/cloudera/parcels/CDH/lib/opt/cloudera/parcels/CDH/lib/hive/contrib/hive-contrib-2.1.1-cdh6.3.2.jar
Class org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe not found
swing2008的专栏
11-24 1597
Class org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe not found To resolve this issue, do the following: Option 1: For clusters without Sentry: Manually add the jar from Hive/ Beeline before running the query: ADD JAR /opt/cloudera/parcels/CDH
Hive表关联错误（已解决！）
Forever_ck的博客
12-25 1897
在Hive表中关联数据时报错如下： 问题原因：两表关联时相同字段列名也相同，导致关联报错！ 解决方法：指定字段所属表即可！
hive分隔符_Hive踩过的坑-hive多个分隔符的问题
weixin_39861054的博客
12-19 781
今天就说说hive多个分隔符的问题。多分隔符(列)这个问题，也是之前同事给我一份文件我才发现的...这份文件上列分隔符是@#|hive建表时,ROW FORMAT DELIMITED FIELDS TERMINATED BY '@#|' 直接用@#|，发现输出的字段和文件不一致。CREATE EXTERNAL TABLE IF NOT EXISTS hjx_temp_ua_190605(id St...
hive建表指定列分隔符为多字符分隔符实战(默认只支持单字符)_hive row formate ###
2401_84186067的博客
05-14 1538
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取ROW FORMAT SERDE ‘org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe’ WITH SERDEPROPERTIES (“field.delim
Hive支持多分隔符与GBK字符集
unlock的博客
01-04 5572
近期在做将数据从SFTP拷贝的Hive，SFTP中的文件存储的是从关系型数据库抽出来的数据，字段之间用0x7C0x1C两个字符分割，采用GBK字符集，这些都是公司规定的，不可能改动，字符集问题可以通过指定序列化编码方式适配，但是也有问题，下文会介绍，但是分隔符的问题无法通过指定建表参数解决，因为Hive默认只支持一个分隔符，既然不能通过HIVE命令解决多分隔符问题，那只能通过代码解决，从头开始过一...
【Hive】hive特殊分隔符处理
人生所向，皆是美好
01-05 1555
文章目录HIVE 特殊分隔符处理1. 使用 RegexSerDe 通过正则表达式来抽取字段2. 通过自定义 InputFormat 解决特殊分隔符问题 HIVE 特殊分隔符处理 补充：hive 读取数据的机制： 首先用 InputFormat<默认是：org.apache.hadoop.mapred.TextInputFormat >的一个具体实现类读入文件数据，返回一条一条的记录...
Hive 设置多字符分割符号遇到的问题
wrj_java的博客
10-18 537
Hive中多字符分隔符： |^| DROP TABLE IF EXISTS temp.cloud_user; CREATE EXTERNAL TABLE IF NOT EXISTS temp.cloud_user ( `user_id` bigint COMMENT '主键' ) ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ('field.del
hdp3 org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe not found
docsz的博客
03-03 906
1：切换到root用户 chmod -R 777 /usr/hdp/3.1.4.0-315/hive/lib/hive-contrib-3.1.0.3.1.4.0-315.jar 2：切换到hive用户：su - hive,进入hive; 3：hive授权：set role admin; 4：add jar /usr/hdp/3.1.4.0-315/hive/lib/hive-contrib-3...
HIVE如何入库多分隔符文件（含如何处理发现不了JAR包情况）
Mr_Goodman的博客
08-09 843
HIVE如何入库多分隔符文件（含如何处理发现不了JAR包情况） ​ 这个星期接到一个入库HIVE的需求，需求里文件是采用@@@分隔符分隔的，以前入库文件大都是单个分隔符，没想太多所以建表时候还是照往常分隔符方式建了。 fields terminated by '@@@' ​ 结果入库完，HIVE表查出来数据错位了，看着像用一个@分隔出来的，DESC FORMATTED TABLE_NAME 看了下表结构，分隔符确实写着@@@。 ​ 当时就意识到可能正常的建表无法处理多分隔符的情况，
hive serde 解决多字节分隔符
freefish_yzx的博客
08-15 2828
hive serde 解决多字节分隔符 1、使用hive内置的 其他 serde 去解决 2、更改源码 这里我只测试使用hive内置的 其他 serde 去解决 1、使用hive内置的 其他 serde 去解决 几乎是一种万能的解决方式： 正则 RegexSerDe, LazySimpleSerDe(默认) 如果要使用RegexSerDe， 那么需要指定： 1、正则表达式 2、要根据正则表达式去匹配到的对应域的值拿出来
Hive 解析多字节分隔符的Serde
ReyzeLamp的博客
07-05 356
movies.dat 数据格式为： 2::Jumanji (1995)::Adventure|Children's|Fantasy， hive 正常默认是不支持多字节分隔符的，例如： 支持这种':' 不支持 这种 '::' 如果需要加载上面的以::分割的数据到hive 表， 那么需要用到能解析多字节分隔符的Serde即可 使用RegexSerde 需要两个参数： input.regex = "(.*)::(.*)::(.*)" output.format.string ...
Spark查询多字符分隔符hive表时遇到的问题
qq_32854205的博客
11-07 1425
Spark查询多分隔符hive表时遇到的问题 首先肯定要引入创建多分隔符hive表时的jar包，hive-contrib-3.1.0.3.0.0.0-1634.jar 然而使用spark-shell --jars xxx/hive-contrib-3.1.0.3.0.0.0-1634.jar引入jar包后查询多分隔符hive表时仍然提示classnotfound异常，提示类找不到，在命令行界面试下...
不同分隔符的文件如何导入hive_0738-6.2.0-如何在Hive中使用多分隔符
weixin_33887804的博客
02-03 470
​文档编写目的Hive在0.14及以后版本支持字段的多分隔符，参考:https://cwiki.apache.org/confluence/display/Hive/MultiDelimitSerDe而Fayson在以前的文章中也基于C5的环境介绍过如何在Hive中使用多分隔符，参考《Hive多分隔符支持示例》。本文主要介绍在CDH6中如何让Hive支持多分隔符。测试环境1.Redhat7.22....
hive建表错误
yds599089646的博客
01-12 774
Cannot validate serde: org.openx.data.jsonserde.JsonSerDe 由于有很多数据，比如行为数据，内容数据都是json格式的，我们需要json的serde- jar，存储方式有以下三种： 1. jar包可以存储到linux上的一个固定目录，使用add jar指令加载到classpath下。 2. 也可以将jar包上传到hdfs中， 使用add jar指令加载到classpath下。 3. 也可以将jar包存储到hive的lib目录下，咱们选择..
Hive学习之路-多分隔符的使用
qq_25100219的博客
09-12 890
通常情况下，我们创建的都是单分隔符的Hive表，但是在实际业务环境中，多数情况下使用的是多分隔符，本篇文章我们探究下Hive多分隔的用法以及注意事项。 单分隔符示例： create table hello(name string,code timestamp) row format delimited fields terminated by ',' lines terminated...
hive 建表语句 行列分隔符
最新发布
07-16
Hive 是一种基于 Hadoop 的数据仓库工具，它允许用户创建、管理和查询大规模的数据集。在 Hive 中，建表语句通常用于定义表的结构，包括列名、数据类型等。行列分隔符（也称为字段分隔符）是在 CSV (Comma Separated Values) 格式中使用的，但在 Hive 中默认的分隔符是逗号(,)。 如果你想要在 Hive 中使用非默认的分隔符，例如制表符(\t)或者其他字符，可以在创建表的时候指定 `field.delim` 或者 `separator` 参数。例如： ```sql CREATE TABLE my_table ( column1 STRING, column2 INT, -- 使用制表符作为分隔符 column3 STRING field.delim '\t' ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; ``` 在这个例子中，`\t` 将会被用作字段分隔符。记住，Hive 一般处理的是文本文件格式，所以行分隔符通常是换行符 (`\n`)。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值