Hive的split函数，使用多个分隔符分割字符串

最新推荐文章于 2024-06-14 10:27:57 发布
最新推荐文章于 2024-06-14 10:27:57 发布
阅读量1.1w 收藏 7
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 大数据 hive 文章标签： hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Greahow/article/details/82965933
本文介绍如何在Hive中使用split函数结合正则表达式处理复杂的数据分隔符，实现高效数据清洗。通过一个实例展示了如何应对多种不同但相似的分隔符，如'-'、'~'、'—'等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hive的split函数，使用多个分隔符分割
♠ ♥ ♦ ♣ 该文章仅为平时的笔记，非商用，如有侵权请联系博主删除 ♣ ♦ ♥ ♠

在数据清洗时，有时候数据长得各种各样，例如年龄段就有：20-100岁、20—100岁、20~100岁、20~100岁各种看似一样，实际不相同的分隔符，使用split函数时就显得有点尴尬：regexp_extract(string subject, string pattern, int index)

此时，如果结合正则表达式来处理，就会很好解决：split('20~100','-|~|—|~')，无论以上哪种分隔符，都可以分割出来。

仅作为日常笔记使用，有点简单，大家有什么想法也可以交流哟~

【大数据Hive】hive 多字段分隔符使用详解
congge_study的博客
03-03 8236
hive 多字段分隔符使用详解
hive split 函数转义问题
进一步有进一步的欢喜~
03-09 1707
语法 split(str string, regex string) -- 使用 regex 分割字符串 str 基本用法 select split('a,b,c,d', ',') from temp_cwh_test; -- 分割 -- 结果为数组 > ["a","b","c","d"] 截取字符串中某个值 select split('a,b,c,d', ',')[0] from temp_cwh_test; -- 提取第1个值 > a 特殊字符的处理 针对特殊分割符号，需要特殊处理。
hive如何处理多分隔符数据
sunlei1980的专栏
06-23 6857
问题描述：     大数据维稳需求中，客户提供的测试数据为多个字符做分隔符('|#'),在pig中会直接报错，hive中只认第一个分隔符。 由于数据量比较大（160G），在文本中替换成单个字符分隔符已不现实，以下提供两个方案解决这一问题。   样例数据 110|#警察 120|#医院 方案1：利用hive自带的序列化/反序列化的方式RegexSe  
Hive中split函数用法，切分多个分隔符分割字符串
是故事啊~关注我~
11-22 3956
在处理数据时，发现存入的字段数据分隔符多种多样，包含了英文逗号，中文逗号，中文顿号等奇葩符号混杂在数据中，可以使用split函数进行切分。
hive建表指定列分隔符为多字符分隔符实战(默认只支持单字符)
helloxiaozhe的博客
10-10 4532
Hive多字符的列分隔符支持示例，清洗入hive表的过程中，发现字段之间的单一字符的分割符号已经不能满足列分割需求，因为字段值本身可能包含分隔符。
hive：函数：split
不花的花和尚的博客
06-23 2400
split函数： 示例1： select regexp_replace(regexp_replace(split(ManageBranchNos,'\\}\\{'), '\\{', ''), '\\}', '') from ods_aimsen_base_regionhistories 注意：以上是通过“}{” 进行分割，然后把{ 和} 都替换为空，如处理{aaa}{bbb}这样的数据 示...
12.Hive多分隔符支持实战
大勇若怯任卷舒
06-11 425
12.1 实验目标描述 要将多个字符作为字段分割符的数据文件加载到Hive表中，事例数据如下： 字段分隔符为“@#$” test1@#$test1name@#$test2value test2@#$test2name@#$test2value test3@#$test3name@#$test4value 如何将上述事例数据加载到Hive表(multi_delimiter_test)中，表结构如下： Hive在0.14及以后版本支持字段的多分隔符 12.2 实验操作 实验环境说明 实验环
Hive split()、explode()和lateral view 应用单列，多列炸裂
清风的博客
05-25 5668
导航基本概念示例数据准备函数应用split()explode（）函数总结 基本概念 在对于SQL的使用中，常常会遇到列转行，或者将一列的数据散列成多行进行统计分析处理的需求，这时候，结合split()、explode()和lateral view 处理这些需求会使得我们得心应手许多。先来了解一下这三个基本的介绍吧。 1.Split(str, separator)：将字符串按照后面的分隔符切割，转换成字符array。第一个参数是我们需要进行分割的字符串，第二个参数是我们的分割符，其结果时一个数组。和Java
HIVE - UDTF开发（指定分割符分割字符串，返回对应的大小写字符串）
xw514124202的博客
03-17 762
一、实现展示 hive> desc test_split_string; name string hive> select * from test_split_string; John,Smith John,and,Ann White Ted,Green Dorothy, -- UDTF: split_string hive> select ...
hive分隔符引发的坑
weixin_49063354的博客
04-07 746
hive分隔符引发的坑 ​ 这两天在做公司 BPM 系统数据分析的工作，前期需要将 BPM 系统的数据导入到 HDFS 上，BPM 系统数据存储在 SQL Server 上，导入数据工具选择 Sqoop ，按照 Sqoop 操作惯例，需要先下载相应的驱动 jar 包，这里是网上下载的 mssql-jdbc-7.4.1.jre8.jar（图示上为 sql server 的驱动 jar 包，下为 mysql 的驱动 jar 包）； ​ 然后将下好的 jar 包上传到 Sqoop 的 lib 目录下； ​
Hive 高级操作（五）之 HIVE 特殊分隔符处理
weixin_44387652的博客
03-09 1782
Hive 高级操作（五）之 HIVE 特殊分隔符处理1、hive 读取数据的机制2、使用 RegexSerDe 通过正则表达式来抽取字段3、通过自定义 InputFormat 解决特殊分隔符问题 1、hive 读取数据的机制 hive 读取数据的机制： （1）首先用 InputFormat <默认是：org.apache.hadoop.mapred.TextInputFormat > 的一个具体实现类读入文件数据，返回一条一条的记录（可以是行，或者是你逻辑中的“行”）。 （2）然后利用 SerD
hive split 特殊用法
zj910092147的专栏
06-14 532
split 加入正则表达式提取数据
hive中split函数相关总结
weixin_43597208的博客
03-06 2816
split 函数一直再用，居然发现没有总结，遂补充一下；
hive多分隔符的解决方案
diaojiao1307的博客
09-22 209
题记： 　　近期在做某个大型银行的大数据项目，当在处理非结构化数据时，却发现他们给的数据并不符合hive和pig的处理要求，数据每行必须需要多个分割符才能完美处理，一下午也没有想到完美的办法解决，今天重新审视了一下整个过程。看来hive的命令行没法搞定了。于是乎，只能通过代码来搞定。 1、重新实现hive的InputFormat了，别急放码过来 1 package ...
hive之regexp_replace函数、split函数的正则
yuxeaotao的博客
04-28 8656
Hive中，regexp_replace函数的第2个参数是正则表达式，第3个参数是字符串 select split(regexp_replace(data,'\\},\\{','}||{'),'\\|\\|')[0]as test from (select '[{"source":"7fresh","monthSales":4900,"userCount":1900,"score":"...
Hive 获取数组最后一个元素
热门推荐
BITDDD小栈
01-23 1万+
引言: 通过split分割当前字段获取数组，并得到最后一个索引的元素，通过hive怎么实现，下面通过不同方法一一验证可行性。 字段样式shopList : productA,productB,productC 表名 shopTable : shopListTable 一.通过 split + size 获取 - 失败 hive -e " select split(shopList,',')[size(split(shopList,','))-1] from shopTable.....
hive split函数_数据分析EPHS(10)Hive中的explode使用全解
weixin_39717865的博客
12-01 343
好了，接下来咱们来看看如何在Hive中实现一行转多行的操作，主要介绍explode和posexplode函数的使用。沿用上一节的数据，从简单到复杂，咱们一步步来。1、数据介绍先看下我们的数据，主要包括三列，分别是班级、姓名以及成绩，数据表名是default.classinfo。2、单列Explode首先来看下最基本的，我们如何把student这一列中的数据由一行变成多行。这里需要使用sp...
Hive多字符列分割
数据科学汇集
05-23 5162
Hive多字符分割列 1 简介 此手册应用于hive建表时指定列按照多字段分割的情景。 2 准备 2.1 环境说明 hive版本: 1.1.0-cdh5.4.7 3 使用 3.1 使用说明 方法一)通过org.apache.hadoop.hive.contrib.serde2.RegexSerDe格式的serde。 1) 建表语句 #指定以^|~作为分隔符 CRE
split多个分隔符
最新发布
03-22
<think>嗯，用户问的是如何在编程中使用split函数处理多个分隔符，特别是用split函数同时处理多个的情况，还希望有示例代码。首先，我需要回忆一下不同编程语言中split函数的用法，因为不同的语言可能有不同的实现方式。用户提供的引用里提到了Python、Hive、C语言和JavaScript，但用户的问题可能主要集中在Python上，因为引用的第一个引用是关于Python的split函数。 首先，确认Python中split函数的基本用法。Python的split默认是按空白字符分割，但也可以指定单一的分隔符。但用户需要的是多个分隔符的情况。这时候，可能需要用到正则表达式模块re，因为原生的split可能不支持多个分隔符。比如，使用re.split()函数，可以传入正则表达式来匹配多个分隔符。 接下来，查看用户提供的引用，引用1提到Python中split函数的高级用法，包括使用正则表达式作为分隔符和多个分隔符的处理。引用3中的Hive示例也涉及多分隔符的处理，但可能用户更关注Python的情况。引用4中JavaScript的例子用了split结合reverse来处理千位分隔符，但可能和当前问题关联不大。 所以，主要思路是：在Python中处理多个分隔符，可以用正则表达式，或者用replace方法先将不同分隔符统一，再用split。此外，可能还需要注意处理分割后的空字符串，避免结果中出现多余的空元素。 然后，考虑示例代码。比如，用户输入一个字符串，里面有逗号、分号和空格作为分隔符，如何用split处理。使用re.split("[ ,;]+", str)可以匹配这些分隔符，并且用+号处理连续的分隔符情况。此外，还可以用列表推导式过滤掉空字符串。 另外，引用1中提到的split函数注意事项可能包括处理空字符串和正则表达式的转义问题。需要提醒用户在使用正则表达式时注意特殊字符的转义，比如*或.需要转义。 还要考虑用户可能的其他需求，比如是否需要保留分隔符，或者是否处理更复杂的情况，比如不同顺序的分隔符。不过根据问题描述，用户主要需要同时处理多个分隔符，所以重点应放在如何同时指定多个分隔符上。 总结回答的结构：先介绍Python的原生split限制，然后引入re模块的解决方案，给出示例代码，说明正则表达式的写法，以及如何处理结果中的空字符串。可能还需要提到其他方法，比如替换分隔符，但re.split更直接。同时，引用相关的引用资料，如引用1和引用3中的多分隔符处理，来支持回答的正确性。 最后，生成相关问题，可能涉及性能优化、不同语言的处理方式，或者更复杂的正则表达式用例，确保问题与主题相关，帮助用户深入理解。</think>在编程中处理多个分隔符时，`split`函数需要结合正则表达式或特定方法实现。以下是不同语言中的解决方案和示例代码： --- ### Python实现方法 Python原生`split()`仅支持单一分隔符，但可通过`re`模块的正则表达式实现多分隔符分割： ```python import re text = "apple,banana;cherry grape|orange" # 使用正则表达式匹配逗号、分号、空格、竖线 result = re.split(r'[,; \|]+', text) print(result) # ['apple', 'banana', 'cherry', 'grape', 'orange'] # 若需过滤空字符串 result = [x for x in re.split(r'[,; \|]+', text) if x] ``` #### 关键点： 1. **正则表达式语法**：`r'[,; \|]+'`中的`[]`表示字符集合，`+`表示匹配一个或多个连续分隔符[^1] 2. **转义特殊字符**：如`|`需用`\|`转义 3. **空字符串处理**：分割后可能产生空元素，需用列表推导式过滤[^2] --- ### JavaScript实现方法 通过正则表达式直接实现多分隔符分割： ```javascript let text = "apple,banana;cherry grape|orange"; let result = text.split(/[,; \|]+/); console.log(result); // ["apple", "banana", "cherry", "grape", "orange"] ``` --- ### Hive SQL实现方法 在Hive中可使用`split()`函数结合正则表达式： ```sql SELECT split('apple,banana;cherry', '[,;]'); -- 结果: ["apple","banana","cherry"] ``` --- ### 通用优化技巧 1. **预处理统一分隔符**：通过替换将不同分隔符转为同一符号 ```python text = text.replace(';', ',').replace('|', ',') result = text.split(',') ``` 2. **复杂分隔符处理**：正则表达式支持更复杂的逻辑，如`r'[^\w]+'`匹配所有非单词字符[^3] ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值