hive：函数：正则：regexp_extract 匹配正则取字段中的中文或英文+其他替换用法（清洗数据）

 

 

https://blog.youkuaiyun.com/jxq0816/article/details/103033674

 

 

========英文=======
select regexp_extract("Aptamil 爱他美(德国)",'([A-Z][a-z]*(\\s|$))+', 1) filed;
返回：
Aptamil 
--匹配全英文

select * from tmp_t_cal_tmp1 where company rlike '([A-Z][a-z]*(\\s|$))+'  --\S 匹配任何非空白字符 .* 就是单个字符匹配任意次,即贪婪匹配  | 代表或

select * from tmp_t_cal_tmp1 where company rlike '[A-Z][a-z]+'



--匹配任意开头字符，且非全中文汉字   含中英括号也查出.但是除开头外后面字符含有英文的查不出
select * from tmp_t_cal_tmp1 where company rlike '[\\u4e00-\\u9fa5]+$' --and operation is null

========中文=======
--”[]”代表的是一个字符集，”^”只有在字符集中才是反向字符集的意思
--\\w等于[a-zA-Z0-9] 第一个斜杠为转义
--匹配中文开头且全中文汉字  过滤含有英文、中英括号以及特殊字符的记录
select * from tmp_t_cal_tmp1 where company rlike '^[\\u4e00-\\u9fa5]+$' 
select * from tmp_t_cal_tmp1 where company regexp '^[\\u4e00-\\u9fa5]+$'
--反
select * from tmp_t_cal_tmp1 where company not rlike '^[\\u4e00-\\u9fa5]+$' 

========中文和英文=======
--汉字中间含英文的
select * from tmp_t_cal_tmp1 where company rlike '^[\\u4e00-\\u9fa5]+\\w+[\\u4e00-\\u9fa5]+' 

select * from tmp_t_cal_tmp1 where company rlike '^[\\u4e00-\\u9fa5]+\\w+|[\\u4e00-\\u9fa5]+' 
--任意开头接中文  中文或英文结尾
select * from tmp_t_cal_tmp1 where company rlike '^[\\u4e00-\\u9fa5]+\\w+|[\\u4e00-\\u9fa5]+$' 

--任意开头接中文或英文  中文或英文结尾
select * from tmp_t_cal_tmp1 where company rlike '^[\\u4e00-\\u9fa5]|\\w+\\w+|[\\u4e00-\\u9fa5]+$' 

--匹配中文和英文 但是首字符为空格会过滤掉
select * from tmp_t_cal_tmp1 where company rlike '^[\\u4e00-\\u9fa5]|\\w+' 

select tmp_t_cal_tmp1  from *** where company not rlike '[\\u4e00-\\u9fa5]|\\w+'

可以看到匹配出一堆 特殊字符的数据：
*
😃😃😃😃
。

true
…………………………
😃😃😃😃
………………………………
………………………………
………………………………
………………………………
😃😃😃😃
😃😃😃😃
………………………………

 

其他替换用法（清洗数据）：

select regexp_replace('你好001，中国','1|2|3|4|5|6|7|8|9|0','')
返回：
你好，中国

select regexp_replace('你?好"0。0;0	001 ，中  国','"|\\?|。| |　|\\&nbsp\\;','==')
返回：
你==好==0==0;0	001==，中====国