HIVE使用regexp_replace替换string特殊字符

最新推荐文章于 2024-07-15 02:57:45 发布
原创 最新推荐文章于 2024-07-15 02:57:45 发布 · 3.9k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #hadoop #数据仓库

该SQL查询展示了如何使用regexp_replace函数去除STRING列中可能导致JSON转换错误的特殊字符。在shell脚本中，需要对SQL语句中的反斜杠进行转义，以正确处理这些字符。
部署运行你感兴趣的模型镜像

文本中存在特殊字符，导致string转JSON时报错，可以使用regexp_replace对文本内容进行替换

select  regexp_replace(STRING,obp.PRODUCT_NAME),' |\u0000|\u0001|\u0002|\u0003|\u0004|\u0005|\u0006|\u0007|\u0008|\u0009|\u000a|\u000b|\u000c|\u000d|\u000e|\u000f|\u0010|\u0011|\u0012|\u0013|\u0014|\u0015|\u0016|\u0017|\u0018|\u0019|\u001a|\u001b|\u001c|\u001d|\u001e|\u001f|\u007F|\n|\"|\t|\r|\f|\b|\/|\\\\','')

注意，sql放到shell脚本中，\需要转义，如下：

select  regexp_replace(STRING,obp.PRODUCT_NAME),' |\u0000|\u0001|\u0002|\u0003|\u0004|\u0005|\u0006|\u0007|\u0008|\u0009|\u000a|\u000b|\u000c|\u000d|\u000e|\u000f|\u0010|\u0011|\u0012|\u0013|\u0014|\u0015|\u0016|\u0017|\u0018|\u0019|\u001a|\u001b|\u001c|\u001d|\u001e|\u001f|\u007F|\n|\"|\t|\r|\f|\b|\/|\\\\\\\\','')

您可能感兴趣的与本文相关的镜像

ACE-Step

ACE-Step

音乐合成
ACE-Step

ACE-Step是由中国团队阶跃星辰（StepFun）与ACE Studio联手打造的开源音乐生成模型。 它拥有3.5B参数量，支持快速高质量生成、强可控性和易于拓展的特点。 最厉害的是，它可以生成多种语言的歌曲，包括但不限于中文、英文、日文等19种语言

Hive SQL 精进系列：REGEXP_REPLACE 函数的用法
进一步有进一步的欢喜~
03-15 2490
字符串处理是数据处理中的常见需求，Hive SQL 为此提供了多种函数，其中 `REGEXP_REPLACE` 函数凭借其基于正则表达式的替换能力，在处理复杂字符串替换任务时发挥着关键作用。本文将详细介绍 `REGEXP_REPLACE` 函数的语法、应用场景，同时对比它与 `REPLACE` 函数和 `REGEXP` 函数的差异。
Hive, regexp_replace用法
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
09-27 2万+
把INITIAL_STRING中与PATTERN相匹配的子串替换为REPLACEMENT regexp_replace(string INITIAL_STRING, string PATTERN, string REPLACEMENT) Returns the string resulting from replacing all substrings in INITIAL_STRING...
hive中特殊字符替换
朝和
10-15 1万+
1、使用regexp_replace处理数据中心的特殊字符： 用法：regexp_replace(字段,'\\\\','') 2、regexp_replace替换特殊字符： 用法实例：regexp_replace("我；们",'\\；','。')
hive 使用regexp筛选和替代特殊字符
weixin_43792309的博客
06-27 5276
```sql ---替换 regexp_replace(lower(name),'[^0-9a-zA-Z\\u4e00-\\u9fa5]','') 除中文字母数字以外的字符全部替换掉 “\u4e00”和“\u9fa5”是unicode编码，并且正好是中文编码的开始和结束的两个值，所以这个正则表达式可以用来判断字符串中是否包含中文 例如： select '李中*华',--李中*华 regexp_replace(lower('李中*华' ),'[^0-9a-zA-Z\\u4e00-\\u9fa5]','.
Hive 常用函数
每天进步一点点儿
09-11 2128
1.字符串长度函数：length 语法: length(string A) 返回值: int 说明：返回字符串A的长度 举例： hive> select length(‘abcedfg’) from lxw_dual; 7 2. 字符串反转函数：reverse 语法: reverse(string A) 返回值: string 说明：返回字符串A的反转结果 举例： hi...
hive中 regexp_replace的用法，替换特殊字符问题
u011250186的博客
03-16 7134
目录 数据仓库中有的字段不合格，有特殊字符，比如换行符。 poi_name \n19013 \n12013 怎么把换行符替换掉呢？ https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-StringOperators regexp_replace(string INI...
hive repalce一次替换多个字符串
最新发布
weixin_29612623的博客
07-15 1441
使用Hive实现一次替换多个字符串 在Hive中，有时候我们需要对表中的数据进行替换操作，将其中的多个字符串替换为指定的内容。Hive提供了regexp_replace函数来实现字符串的替换操作，但是一次只能替换一个字符串。那么如何实现一次替换多个字符串呢？本文将介绍如何在Hive中使用regexp_replace函数一次...
Hive中正则表达式替换函数 regexp_replace和正则表达式解析函数 regexp_extract的用法总结
TinyNasubi的博客
10-24 2万+
Hive中 正则表达式替换函数 regexp_replace和正则表达式解析函数 regexp_extract的用法总结 Hive中有很多字符串相关的函数，其中有两个与正则表达式相关的比较特殊，近期使用的时候做了较多的测试，做个笔记，鼓励一下自己，每天进步一点点。 正则表达式替换函数 regexp_replace 正则替换是常用的字符串替换函数 语法：regexp_replace(string ...
hive中regexp_replace替换[]
03-28
如果要在Hive中使用regexp_replace替换[]，需要使用反斜杠来转义方括号。例如，如果要将字符串中的所有方括号替换为括号，可以使用以下语句： SELECT regexp_replace('This is a [test] string', '\\[|\\]', '()');...
hive替换文件中特殊字符
yuinliu的博客
01-05 1853
select regexp_replace(regexp_replace(regexp_replace(t.column_001,’\0’,’’),’\012’,’’),’\015’ ,’’) as column_001 ,regexp_replace(regexp_replace(regexp_replace(t.column_002,’\0’,’’),’\012’,’’),’\015’ ,’’) as column_002 ,regexp_replace(regexp_replace(regexp_
hive函数—— regexp_replace的用法，替换特殊字符问题
烂笔头的专栏
03-22 3万+
数据仓库中有的字段不合格，有特殊字符，比如换行符。 poi_name \n19013 \n12013 regexp_replace(string INITIAL_STRING, string PATTERN, string REPLACEMENT) Returns the string resulting from replacing all substrings in INITIAL_STRI...
js去掉前后空格的函数_SQL中另类的字符串替换函数，解决您头疼的批量替换问题...
weixin_39535349的博客
11-20 252
常用SQL的朋友应该知道，SQL中一般都会提供一些字符串处理函数。如果要您把所有的字符串处理函数都摆出来，估计您心里就没底了。但如果我问您replace函数，您肯定用过，这是批量替换字符串的常用函数。常见数据库支持的字符串处理函数我先不卖关子了，下面把所有最新版本SQLServer支持的字符串函数都列出来，其中画红框的两个就是今天我要讲的，您看看先有个底。SQLServer的字符串函数跟MySQL...
REGEXP_REPLACE() 函数，替换字符串中特定字符
Huc673619的博客
01-10 1196
【代码】REGEXP_REPLACE() 函数，替换字符串中特定字符。
shell中运行hive替换特殊字符
qq_57595180的博客
09-06 511
1、在hive中将a中的特殊字符|替换掉。 select regexp_replace(a,'\\|',''),b ,c ,d from aaa; 2、在shell脚本中运行上边命令，|没有被替换掉，因为在shell里也需要转义。 shell中的特殊字符的转义可以在特殊字符前加\ select regexp_replace(a,'\\\|',''),b ,c ,d from aaa; ...
regexp_replace特殊字符处理（Oracle）
qq_38791690的博客
11-27 2467
正则处理特殊字符（Oracle） with t as ( select ‘a&**’ c1 from dual union all select ‘bbbb’ c1 from dual union all select ’ . d’ c1 from dual union all select ‘1234’ c1 from dual union all select ‘98sd8f’ c1...
[SparkSQL] regexp_replace函数使用 去除特殊隐藏字符\n\t\r
weixin_43376907的博客
08-09 1万+
REGEXP_REPLACE(inputString, regexString, replacementString) 第一个参数：表中字段 第二个参数：正则表达式 第三个参数：要替换称为的字符 函数使用起来比较简单，但是也有坑，当要匹配特殊的隐藏字符\n \r \t ,等回车符、制表符时，需要通过使用四个 \ 进行转译。 如果不去出这些隐藏字符，在我们导出数据写入文件时会产生异常，在中间进...
hive replace替换多个_批量替换 | 多行多列不同字符替换为同一字符
weixin_39714383的博客
11-23 6612
- 问题 - 前些日子，发布了文章《10万行30列数据乘上系数，能快一些吗？含“函数作为参数”的触类旁通方法》，结果有朋友留言问，是否能实现多个旧值转换为同1个新值，在Table.ReplaceValue函数里，旧值该怎么填？ 为此，我自己造了几个数据，要求把所有数据里的顿号、斜杠、下划线统一替换为横杠，如下图所示：- 方法 1 - 将需要替换的内容...
hive字符串的分割，截取，替换与正则匹配。
热门推荐
weixin_43668299的博客
06-30 7万+
hive字符串的分割，截取，正则提取与替换。 一，字符串的分割。 split函数（分割字符串） 语法: split(string str, string pat) 返回值: array 说明: 按照pat字符串分割str，会返回分割后的字符串数组 举例： 1.基本用法 hive> select split('abcdef', 'c') from test; ["ab", "def"] 2...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值