Hive -e时的双引号和反斜杠问题

最新推荐文章于 2022-07-19 11:46:52 发布

原创最新推荐文章于 2022-07-19 11:46:52 发布 · 3.8k 阅读

5 ·

CC 4.0 BY-SA版权

hive 专栏收录该内容

2 篇文章

订阅专栏

本文记录了在使用Hive SQL的split函数时遇到的一个问题，即在hive-e命令行中，split函数的分隔符如果未正确转义会导致解析错误。详细解释了单引号和双引号在shell命令中的转义规则，并提供了正确使用split函数的示例。通过这个例子，强调了在处理特殊字符时需要注意的转义细节，特别是涉及到正则表达式的场景。

今天用hive -e 测试split(column, "\\.")的时候发现有个坑，记录一下。
建表语句：

create table movie (
name string,
category string
)
row format delimited fields terminated by "\t";

数据准备movie.txt：

《疑犯追踪》	悬疑.动作.科幻.剧情
《Lie to me》	悬疑.警匪.动作.心理.剧情
《战狼 2》	战争.动作.灾难

插入语句：

load data local inpath "/opt/bigdata/hive/hive-3.1.2/test/movie.txt" into table movie;

查询测试：
在这里插入图片描述
用hive -e 测试的时候，如果sql语句是用单引号包裹，分割符用双引号包裹，如下：

hive -e 'select split(category, "\\.") from movie;'

可以得到正确结果，如图：
在这里插入图片描述
但是如果sql语句是用双引号包裹，分割符用单引号包裹，如下：

hive -e "select split(category, '\\.') from movie;"

则得不到正确结果，应该是hive用"."（正则里"."表示任意字符）来分割了，如下：
在这里插入图片描述
这里为什么是用"."来分割了呢？因为shell里带双引号的命令也需要一次转义，所以正确的写法应该是：

hive -e "select split(category, '\\\\.') from movie;"

结果如图：
在这里插入图片描述这里需要用四个反斜杠来表示普通字符"."，而不是正则里的任意字符。
当然，如果是用hive -f 来执行hql，就不需要第一层的引号了。

记录一下，避免以后再踩坑！