Hive表如何使用多字符分隔

最新推荐文章于 2022-04-19 17:04:04 发布

数据源的港湾

最新推荐文章于 2022-04-19 17:04:04 发布

阅读量3.4k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Hive

本文链接：https://blog.youkuaiyun.com/Post_Yuan/article/details/78845273

Hive 专栏收录该内容

14 篇文章

订阅专栏

本文介绍了在Hive中使用多字符作为字段分隔符时遇到的问题，并提供了两种有效的解决方案：MultiDelimitSerDe和RegexSerDe，通过具体实例展示了如何正确配置并解析包含特殊分隔符的数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一般情况下，Hive建表指定分隔符使用”row format delimited fields terminated by”语法，以下是一个最简单的例子，

hive> create external table t2 (a int, b string)
    > row format delimited fields terminated by '|'
    > location '/user/hive/warehouse/t3';
OK
Time taken: 0.045 seconds

使用此方法时，分隔符只能是一个字符，假如想使用多个分隔符如’$%#’，则虽然可以成功创建表，但查询的结果是不正确的，如下

hadoop fs -cat /user/hive/warehouse/t3/t3.txt
1$%#aaa
2$%#bbb
3$%#ccc

hive> create external table t3 (a int, b string)
    > row format delimited fields terminated by '$%#'
    > location '/user/hive/warehouse/t3';
OK
Time taken: 0.051 seconds
hive> select * from t3;
OK
1       %#aaa
2       %#bbb
3       %#ccc
Time taken: 0.105 seconds, Fetched: 3 row(s)

要解决使用多字符分隔的问题，目前从网上查到主要有两种方法，1 MultiDelimitSerDe 2 RegexSerDe

方法1

hive> create external table t4(id INT, name STRING)
    > ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe'
    > WITH SERDEPROPERTIES ("field.delim"="$%#")
    > location '/user/hive/warehouse/t3';
OK
Time taken: 0.045 seconds
hive> select * from t4;
OK
1       aaa
2       bbb
3       ccc
Time taken: 0.092 seconds, Fetched: 3 row(s)

方法2

hive> create external table t5(a string, b string)
    > ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
    > WITH SERDEPROPERTIES ("input.regex" = "^(.*)\\$\\%\\#(.*)$")
    > location '/user/hive/warehouse/t3';
OK
Time taken: 0.046 seconds
hive> select * from t5;
OK
1       aaa
2       bbb
3       ccc
Time taken: 0.09 seconds, Fetched: 3 row(s)