hive:函数:正则:regexp_extract 匹配正则取字段中的中文或英文+其他替换用法(清洗数据)

本文介绍了如何使用Hive的regexp_extract函数来匹配正则表达式,特别是从字段中提取中文或英文字符,并探讨了在数据清洗过程中的其他替换方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

 

https://blog.youkuaiyun.com/jxq0816/article/details/103033674

 

 

========英文=======
select regexp_extract("Aptamil 爱他美(德国)",'([A-Z][a-z]*(\\s|$))+', 1) filed;
返回:
Aptamil 
--匹配全英文

select * from tmp_t_cal_tmp1 where company rlike '([A-Z][a-z]*(\\s|$))+'  --\S 匹配任何非空白字符 .* 就是单个字符匹配任意次,即贪婪匹配  | 代表或

select * from tmp_t_cal_tmp1 where company rlike '[A-Z][a-z]+'



--匹配任意开头字符,且非全中文汉字   含中英括号也查出.但是除开头外后面字符含有英文的查不出
select * from tmp_t_cal_tmp1 where company rlike '[\\u4e00-\\u9fa5]+$' --and operation is null

========中文=======
--”[]”代表的是一个字符集,”^”只有在字符集中才是反向字符集的意思
--\\w等于[a-zA-Z0-9] 第一个斜杠为转义
--匹配中文开头且全中文汉字  过滤含有英文、中英括号以及特殊字符的记录
select * from tmp_t_cal_tmp1 where company rlike '^[\\u4e00-\\u9fa5]+$' 
select * from tmp_t_cal_tmp1 where company regexp '^[\\u4e00-\\u9fa5]+$'
--反
select * from tmp_t_cal_tmp1 where company not rlike '^[\\u4e00-\\u9fa5]+$' 

========中文和英文=======
--汉字中间含英文的
select * from tmp_t_cal_tmp1 where company rlike '^[\\u4e00-\\u9fa5]+\\w+[\\u4e00-\\u9fa5]+' 

select * from tmp_t_cal_tmp1 where company rlike '^[\\u4e00-\\u9fa5]+\\w+|[\\u4e00-\\u9fa5]+' 
--任意开头接中文  中文或英文结尾
select * from tmp_t_cal_tmp1 where company rlike '^[\\u4e00-\\u9fa5]+\\w+|[\\u4e00-\\u9fa5]+$' 

--任意开头接中文或英文  中文或英文结尾
select * from tmp_t_cal_tmp1 where company rlike '^[\\u4e00-\\u9fa5]|\\w+\\w+|[\\u4e00-\\u9fa5]+$' 

--匹配中文和英文 但是首字符为空格会过滤掉
select * from tmp_t_cal_tmp1 where company rlike '^[\\u4e00-\\u9fa5]|\\w+' 

select tmp_t_cal_tmp1  from *** where company not rlike '[\\u4e00-\\u9fa5]|\\w+'

可以看到匹配出一堆 特殊字符的数据:
*
😃😃😃😃
。

true
…………………………
😃😃😃😃
………………………………
………………………………
………………………………
………………………………
😃😃😃😃
😃😃😃😃
………………………………

 

其他替换用法(清洗数据):

select regexp_replace('你好001,中国','1|2|3|4|5|6|7|8|9|0','')
返回:
你好,中国

select regexp_replace('你?好"0。0;0	001 ,中  国','"|\\?|。| | |\\&nbsp\\;','==')
返回:
你==好==0==0;0	001==,中====国

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值