select列表使用正则的小技巧（HIVE）

最新推荐文章于 2024-05-14 14:39:26 发布

weixin_30740581

最新推荐文章于 2024-05-14 14:39:26 发布

阅读量638

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/upoo/p/4792705.html

文章介绍了Hive 0.13.0版本的一项重要更新，即在INSERT语句中使用正则表达式来指定需要插入的列。通过设置`hive.support.quoted.identifiers=none`，用户可以在不完全指定列名的情况下插入数据，简化了数据操作流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hive 0.13.0之后，select列表支持正则表达式了。对于如下的应用场景

create table tb2 like tb1

insert overwrite table tb2 partition(dt=xx, hr=xx) select * from tb1 是不行的，因为后者是N个列，前者是N-2个列

之前只能

insert overwrite table tb2 partition(dt=xx, hr=xx) select c1, c2, c3, c4... from tb1

现在可以采用，前提是set hive.support.quoted.identifiers=none

insert overwrite table tb2 partition(dt=xx, hr=xx) select `(dt|hr)?+.+` from tb1

转载于:https://www.cnblogs.com/upoo/p/4792705.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30740581

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

SQL进阶技巧：SQL中的正则表达式应用？

石榴姐yyds

10-10

1936

正则表达式在SQL中是一个强大而versatile的工具,它不仅能够处理文本数据,还能在ETL流程、数据验证、特征工程等多个方面发挥重要作用。然而,使用正则表达式需要在表达能力和性能之间找到平衡。通过深入理解正则表达式的工作原理,结合HiveSQL的特性,并注意安全性考虑,我们可以更好地利用这一工具来解决复杂的数据处理问题。掌握和灵活运用正则表达式是数据工程师和数据科学家的重要技能。

10、Hive 查询操作与函数使用详解

最新发布

rgv2345678的博客

07-04

本文详细介绍了Hive中的查询操作与函数使用，包括表生成函数、其他内置函数、LIMIT子句、列别名、嵌套SELECT语句、CASE条件语句等内容。同时，文章还讨论了Hive查询在何种情况下可以避免MapReduce、谓词运算符的使用、浮点数比较的陷阱以及查询性能优化建议。通过实际复杂查询示例，帮助读者更好地理解和应用Hive查询功能。最后，还提供了查询执行流程图、常见问题解答等内容，以便更高效地进行数据分析和处理。

参与评论您还未登录，请先登录后发表或查看评论

Hive select查询简单函数

分享~

05-14

740

摘要：select复杂查询日期函数数学函数字符串函数

hive select 语句

jslijb的博客

02-01

5168

hive 查询操作： 1、列匹配正则表达式 select 查询列使用正则表达式匹配列，hive 0.13 版本之前直接用。0.13及后续版本需要开设置hive的属性 set hive.support.quoted.identifiers=none; hive (mydb)> select `price.*` from stocks; OK 3.31 1.31 3....

Hive(五)--正则表达式

William Zhao's notes

03-15

2187

Hive中的正则表达式还是很强大的。数据工作者平时也离不开正则表达式。对此，特意做了个hive正则表达式的小结。所有代码都经过亲测，正常运行。 1.regexp 语法: A REGEXP B 操作类型: strings 描述: 功能与RLIKE相同 select count(*) from olap_b_dw_hotelorder_f where create_date_wid

hive 正则表达式_hive 正则表达式匹配数据-1

weixin_42502601的博客

01-20

5005

在实际的应用中，通常需要在一些复杂的、没有规律的字符串中提取数据，这时候就需要用到正则表达式了，在编程语言中基本都会支持正则表达式的，最近在用hive数据仓库处理一些数据，应用到了正则表达式，记录下在工作中常用的正则表达式的写法，以后可以直接的用，省时省事。hive正则匹配函数语法：regexp_extract(string subject,string pattern,int index)返回值...

Hive select 语句大量技巧

RayfunC的博客

05-19

3002

hive 查询操作： 1、列匹配正则表达式 select 查询列使用正则表达式匹配列，hive 0.13 版本之前直接用。0.13 及后续版本需要开设置 hive 的属性 set hive.support.quoted.identifiers=none;...

「Hive」Hive与MySQL技术差异点（二）：HQL查询语句

满眼凄迷i

07-03

1710

主要内容 1.HQL查询语句与MySQL执行顺序的区别； 2.Hive复合类型的数据查询、正则查询以及Hive独有的排序方式； 3.Hive的表关联语法； 4.Hive子查询的限制； 5.Hive开窗函数包含偏移函数、统计函数和排序函数； 6.Hive抽样查询包含随机抽样、数据块抽样和分桶抽样； 7.Hive调优分为环境调优和HQL语句调优； 8.总结与explode函数和lateral 虚拟表用法。 9.regexp_extract提取函数用法 10.json数据解析get_json_object函数用法

HiveSql一天一个小技巧：如何成对提取字符串内容

石榴姐yyds

05-04

1872

本文给出了一种如何成对提取字符串内容技巧和方法，主要利用posexplode()函数进行求解，利用索引值相等提取出对应的字段内容。

Hive使用技巧总结

LightsUpW的博客

07-04

1985

1.在Hive中可以使用正则表达式 set hive.support.quoted.identifiers=None; select a.pin, `(pin)?+.+` from Table 2.输出表数据时，显示列名 set hive.cli.print.header=true;

MySQL讲义第 35 讲——select 查询之正则表达式

睿思达DBA

10-24

4420

MySQL讲义第 35 讲——select 查询之正则表达式正则表达式用来描述或者匹配符合规则的字符串。它的用法和 LIKE 相似，能够实现一些特殊的规则匹配。在MySQL中，使用 REGEXP 操作符来进行正则表达式匹配。一、正则表达式匹配规则正则表达式常用的字符匹配列表：选项说明例子匹配值示例 ‘字符串A’ 包含【字符串A】 ‘银行’ 中国银行,交通银行股份有限公司 | 或者（OR） ‘字符串A|字符串B|字符串C’ 包含【字符串A】或【字符串B】或【

MySQL子查询，正则表达式查询，触发器总结

qq_59180100的博客

07-13

2368

在触发器的 `BEGIN` 和 `END` 之间，我们可以编写多个语句来执行不同的操作。下面是一个使用子查询的示例，假设有两个表`orders`和`customers`，分别包含订单和顾客信息。在触发器中，通过使用 `NEW` 和 `OLD` 这两个预定义的伪行记录，可以在触发操作中引用新值和旧值。在这个例子中，内部的子查询获取了订单总数最多的顾客ID，然后外部查询使用这个ID来获取相应的顾客信息。要创建一个触发器执行多个语句，你可以在触发器的 `BEGIN` 和 `END` 块中编写多个语句。

mysql基础知识-正则表达式

weixin_45906368的博客

07-22

175

【代码】mysql基础知识-正则表达式。

Hive正则匹配查询基础大全（好文收藏）

weixin_45857425的博客

06-24

4469

前置知识 1.常见匹配符号 . ：匹配所有单个字符，除了换行符（Linux 中换行是 \n，Windows 中换行是 \r\n） ^regex ：正则必须匹配字符串开头 regex$ ：正则必须匹配字符串结尾 [abc] ：复选集定义，匹配字母 a 或 b 或 c [abc][vz] ：复选集定义，匹配字母 a 或 b 或 c，后面跟着 v 或 z [^abc] ：当插入符 ^ 在中括号中以第一个字符开始显示，则表示否定模式。此模式匹配所有字符，除了 a 或 b 或 c [a-d1-7] ：范围匹配，

hive 正则表达式详解

热门推荐

bitcarmanlee的博客

04-09

9万+

hive中的正则表达式还是很强大的。数据工作者平时也离不开正则表达式。对此，特意做了个hive正则表达式的小结。所有代码都经过亲测，正常运行。1.regexp语法: A REGEXP B 操作类型: strings 描述: 功能与RLIKE相同select count(*) from olap_b_dw_hotelorder_f where create_date_wid not regexp

hive中正则表达式的使用

u010615567的博客

02-22

2433

hive中正则表达式的使用。 1、regexp regexp的用法与like相似，但是在进行复杂匹配或者同一字段匹配不同字符串且有先后顺序时，regexp使用较为方便。语法: A REGEXP B 2.regexp_extract 语法：regexp_extract(string subject, string pattern, int index) 使用pattern从给定字符串中提取字符串。如： regexp_extract('foothebar', 'foo(.*?)(bar)',

insert 和select联合使用

Tao_QQ的专栏

12-26

1万+

INSERT的语法是： insert into tableName1(col1,col2,......) values(val1,val2,.....) SELECT的语法是： select col1,col2,... from tableName2 where cond1 and cond2 and .... 利用insert和select的联合使用，可以将select语句的查询结果，插

Hive中的正则表达式

夫唯不争，故天下莫能与之争。

07-26

1万+

在Hive中查看字段的时候，有时候会需要匹配正则表达式比较方便，以前一直使用like，但是毕竟有限 Hive中可以使用自带的函数regexp_extract(string,regex,index)来判断比如下面的语句 select regexp_extract('www.baidu.com','[\\w\\.]+',0) from test1 limit 10; 特别注意的是hive中

hive中的正则表达式及其应用

数据小白的进阶之路

07-20

6万+

今天来说一下hive中的正则表达式，主要包含：元字符匹配、位置匹配、频率匹配 1、元字符匹配 (.) 表示匹配除换行符以外的任意字符。 (\w) 表示匹配字母、下划线、数字或汉字(\\W)。 (\d) 表示匹配数字 (\s) 表示匹配任意的空白符 ([ ]) 表示匹配方括号中任一字符 ([^匹配内容]) 表示匹配方括号中任一字符 2、位置匹配 (^) 表示匹配字符串的开始，...

hive期末考试

06-25

- **小文件合并**：使用 `CombineHiveInputFormat` 或配置参数自动合并小文件，避免 Map 数量过多。 - **JVM 重用**：设置 `mapreduce.task.timeout=0` 并启用 JVM 重用，减少任务启动开销。 ### Hive 学习资源推荐...