五分钟学会hive中的行转列，列转行（UDAF和UDTF）以及concat，collect_set,concat_ws用法

最新推荐文章于 2025-05-19 19:09:54 发布
置顶 最新推荐文章于 2025-05-19 19:09:54 发布
阅读量1.6k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大数据 hive 文章标签： hive UDAF UDTF
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43345864/article/details/84638305

准备数据：

name constellation blood_type
小明 小熊座 R
小红 猎户座 XR
小白 猎户座 R
小蓝 小熊座 R
小绿 小熊座 R

行转列

创建表并导入数据
create table person_info(
name string, constellation string, blood_type string) 
row format delimited fields terminated by "\t";
//导入数据
load data local inpath '/home/datas/a.txt' into table person_info;
把星座和血型一样的人归类在一起
最低0.47元/天 解锁文章

200万优质内容无限畅学
hive操作（行转列，列转行）
aiduo3346的博客
09-05 4575
一、行转列 1．相关函数说明 CONCAT(stringA/col,stringB/col…)：返回输入字符串连接后的结果，支持任意个输入字符串; CONCAT_WS(separator,str1,str2,...)：它是一个特殊形式的CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是NULL，返回值也将为NULL。这个...
HIVE行转列和列转行
jiantianming2的博客
01-28 1万+
行转列 select dt_month,valid_num,unvalid_num from test.test_xw_rowtocol 数据如下 转换要求：行转列需保留列名，如下图 方式一：采用union all的形式 select dt_month ,'valid_num' as type ​ ,sum(valid_num) as num
hive中行转列，列转行的使用
十色花的博客
08-28 1679
一、行转列的使用 １、问题 hive如何将 a       b       1 a       b       2 a       b       3 c       d       4 c       d       5 c       d       6 变为： a       b       1,2,3 c       d       4,5,6   ２、数据 test....
十三、Hive 行列转换
最新发布
大数据领域创作新星
05-19 1万+
在数据处理中，行列转换是数据建模、清洗和可视化的“变形术”。本文以实战视角系统梳理 Hive SQL 中实现行转列与列转行的多种方法，包括 CASE WHEN + 聚合函数、COLLECT_LIST、LATERAL VIEW EXPLODE + MAP/ARRAY、STACK 等。通过经典场景演示如何用最优语法完成数据透视、结构拆分与重构，并配套 10 道进阶练习题及答案，助你全面掌握 Hive 在数据转换中的“十八般武艺”。适合想要提升数据操作技巧的工程师与数据分析师查阅收藏。
hive 行转列
qq_43192537的博客
09-26 285
hive中行转列 1. 创建表 create table person_info( name string, constellation string, blood_type string) row format delimited fields terminated by "\t";
Hive中行转列、列转行（UDAF 与 UDTF）
我是60岁程序员
03-09 586
1、行转列 表结构： create table person_info( name string, constellation string, blood_type string) row format delimited fields terminated by “\t”; load data local inpath “person_info.dat” into table person_i...
Hive之自定义函数（UDF、UDAF、UDTF）
IT小王
08-31 1430
内容仅截取函数部分，其他Hive学习笔记见个人博客 https://wangbowen.cn/2020/08/27/Hive%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0/ 十三、函数 13.1 发现和描述函数 -- 可以看到hive当前会话的所有函数名称，包括内置和用户自定义的 show functions; -- 查看函数的简介(加上extended显示更详细的文档) describe function [extended] <函数名>; 13.2 调用函数 函
Hive 自定义函数(UDF，UDAF，UDTF)详解
程序员学习圈
08-28 1137
开窗函数查询 1.数据准备：name，orderdate，cost jack,2017-01-01,10 tony,2017-01-02,15 jack,2017-02-03,23 tony,2017-01-04,29 jack,2017-01-05,46 jack,2017-04-06,42 tony,2017-01-07,50 jack,2017-01-08,55 mart,2017-0...
Hive的collect_list实现全局有序
nefu_zjh的博客
07-25 1万+
关于Hive中的collect_list实现全局有序简单说Hive再来说collect_list()collect_list()能干啥使用collect_list()实现全局排序 简单说Hive Hadoop的logo是一只大象，从Hive的logo看，它是一个具有大象头，蜜蜂身体的这么一个玩意，旨在给这只庞大的大象瘦身。所以它以一种HiveQL的方式取代了传统通过MR去离线计算HDFS上面的那些文件，为开发者省去了很多复杂代码的开发，其学习成本也更低 Hive提供了一些现成的函数，让开发者可以调用。整体
SparkSQL读取hive中的数据，行转列的两种方式【行转列专用函数，UDAF】
乔治大哥的博客
12-09 816
先给数据： vi employees 1,George,nan 2,honey,nv 3,georgedage,nan 4,kangkang,nv 上传数据： hdfs dfs -mkdir /second hdfs dfs -put employees /second/ 创表： create external table employees(emp_no int,emp_name...
hive中的行转列，列转行
mo
06-19 2520
行转列： 1.行转列所用的函数 CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串; CONCAT_WS(separator, str1, str2,…)：它是一个特殊形式的 CONCAT()。第一个参数作为剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间; COLLECT_SET(col)：函数
Hive 行转列，Hive 列转行， UDF，UDTF
ZZJXP的博客
04-07 376
Hive 行转列 hive> create table testArray2( > name string, > weight array<string> > )row format delimited > fields terminated by '\t' > COLLECTION ITEMS terminated by ','; OK Time taken: 0.172 seconds hive
hive中行转列的问题：
dj_2009291007的博客
11-29 405
在很多情况下，我们需要将hive表中的某一列切分，转成多行，这个时候我们想到了函数explode(),比如数据： |people|name|addr| |小明|北京，天津 需要转换成： |小明|北京| |小明|天津| 这个时候用 select name , explode(split(addr,',')` from people ；会报错： Error while compilin
Hive--行转列/列转行
热门推荐
qq_46893497的博客
11-22 2万+
一、lateral view 分类：视图 功能：配合UDTF来使用,把某一行数据拆分成多行数据 很多的UDTF不能将结果与源表进行关联，使用lateral view ，可以将UDTF拆分的单个字段数据与原始表数据关联上 使用方式： select …… from tabelA lateral view UDTF(xxx) 视图名 as a,b,c 案例： --准备数据:vim /export/datas/lateral.txt 1 http://facebook.com/path/p1.php?q
Hive（行转列 列转行）
weixin_46602525的博客
07-15 8362
Hive（行转列 列转行） 行转列 行专列常用的几种方式有 concat concat_ws collect_list collect_set 举例说明 白羊座 SELECT concat_ws("|",collect_set(name)),concat(xz,",",xx) FROM db2.xyj GROUP BY concat(xz,",",xx) 列转行 explode 常与split连用 语法格式 lateral view explode(array) tmp(临时表名) as colna
hive中实现行转列_hive中的列转行和行转列
weixin_28752743的博客
12-31 640
1、列转行1.1 相关函数的说明：concat(string1,string,...)　　//连接括号内字符串，数量不限。concat_ws(separator,string1,string2,...)　　//连接括号内字符串，数量不限，连接符为separator。collect_set(col)　　//此函数只接受基本类型，主要是将字段的值进行去重汇总，产生array类型字段。1.2 例子：创建...
Hive行转列、列转行
王义凯 的博客
12-29 1019
hive 行转列，列转行
Hive中行转列与列转行
qq_44540985的博客
11-12 1788
行专列 CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字 符串; CONCAT_WS(separator, str1, str2,...)：它是一个特殊形式的 CONCAT()。第一个参数剩余参为指定分隔符。 CONCAT_WS(separator, array_name)：数组以separator为分隔符进行拼接。 COLLECT_SET(col)：函数只接受基本数据类型，它的主要作用是将某字段的值进行去重 汇总，产生 Arr
HIve行转列-列转行
qq_39686588的博客
03-23 489
行转列 准备数据和表 -- 准备数据 1,zss1,语文,76 1,zss1,英语,56 1,zss1,数学,98 2,zss2,语文,88 2,zss2,英语,97 2,zss2,数学,67 3,zss3,语文,96 3,zss3,英语,87 3,zss3,数学,79 4,zss4,语文,84 4,zss4,英语,79 4,zss4,数学,84 -- 创建表 drop table tb_a; create table tb_a( id int, name string, course string, s
hive中UDAF的函数有哪些
03-30
Hive中UDAF的函数有： 1. AVG：计算平均值 2. COUNT：统计行数 3. MAX：计算最大值 4. MIN：计算最小值 5. SUM：计算总和 6. COLLECT_LIST：将一组值转换为一个列表 7. COLLECT_SET：将一组值转换为一个集合 8. ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值