hiveSql大全（TOPN，行转列，列转行）

最新推荐文章于 2024-01-30 14:46:05 发布

原创

最新推荐文章于 2024-01-30 14:46:05 发布 · 1.3k 阅读

6 ·

CC 4.0 BY-SA版权

本文介绍了Hive SQL中处理数据的三种技巧：如何实现TOPN查询，行数据转为列数据，以及列数据转为行数据。详细解释了相关操作的背景问题、数据示例以及解决方案，包括使用concat_ws进行数据处理和explode函数进行行列转换。

一：TOPN的使用

1.问题

hive如何将

语文小编 81
数学小编 32
语文建国 91
数学建国 95
语文狗剩 65
数学狗剩 68

转换为

语文建国 91 1
语文小编 81 2
数学建国 95 1
数学狗剩 68 2

建表语句

create table sust1(
item string,
name string,
score decimal
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS textfile;

本地文件内容：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Small_temper

关注关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【硬刚Hive】MYSQL/HIVESQL笔试题（一）：HIVESQL（一）分组求TopN/行转列/列转行

微信搜：import_bigdata，大数据领域硬核原创作者

09-11

638

欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言，欢迎留言交流！本文由【王知无】原创，首发于优快云博客！本文首发优快云论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 1 分组求TopN 一、先看数据：使用HiveSQL常用的方式为： Select * from table, ro.

Hive常见的计算(连续纸，topN，行专列，列转行)

zhang5324496的博客

05-24

2058

hive 面试sql 连续值 topN 行转列 列转行 json解析 jsont_uple get_json_object

参与评论您还未登录，请先登录后发表或查看评论

Hive 行转列&列转行

wzj_wp的博客

04-15

1304

行转列 concat_ws: hive (wzj)> desc function extended concat_ws; OK tab_name concat_ws(separator, [string | array(string)]+) - returns the concatenation of the strings separated by the separator. Exa...

Hive sql 行转列

sruokun的博客

03-24

3342

Hive sql 行转列（简单与进阶用法，附业务场景）

Hive SQL实现行转列跟列转行

alie_123的博客

12-15

870

原理：将UDTF（表生成函数）的结果构建成一个类似于视图的表，然后将原表中的每一行和UDTF函数输出的每一行进行连接，生成一张新的虚拟表。from 表名 lateral view UDTF(xxx) 侧视图名 as 字段名;以上就是hive SQL中行列转换的具体解决方案了。1、首先将单列数据先切割再使用炸裂函数炸开；2、同时配合侧视图生成最后完整表。

Hive SQL中的列转行（lateral view与explode）、行转列

热门推荐

qq_46893497的博客

11-22

2万+

一、lateral view 分类：视图功能：配合UDTF来使用,把某一行数据拆分成多行数据很多的UDTF不能将结果与源表进行关联，使用lateral view ，可以将UDTF拆分的单个字段数据与原始表数据关联上使用方式： select …… from tabelA lateral view UDTF(xxx) 视图名 as a,b,c 案例： --准备数据:vim /export/datas/lateral.txt 1 http://facebook.com/path/p1.php?q

NoSQL | Hive中的排序函数、行转列（列转行）以及分组与去重函数

是希望的博客

01-14

686

Hive中的排序函数、行转列（列转行）以及分组与去重函数知识点

hive sql 经典题目连续登陆｜间隔连续登陆｜行列转换｜累加｜topN | 炸裂

u010569893的博客

02-07

2258

hive sql的经典题目连续登陆｜间隔连续登陆｜行列转换｜累加｜topN | 炸裂

Hive SQL 行转列 和列转行 1列转多列函数和示例

终码一生

09-27

3034

起因最近收到一个需求，做一张宽表的清洗处理，基于一张表格做条件，于是便把表格直接抽为一张字典表，用于对基础数据做match匹配。表格数据如下：整理后表数据如下（仅作演示，省略了其他条件字段）： hive> select arch_value, industry from dim.company_arch_value_condition_tag limit 10; OK 高 IT互联网_IT信息技术高金融_银行业|金融_保险业|金融_资本市场_证券期货高教育高商贸高（除上

hivesql行转列和列转行

korry24的博客

03-13

3169

hivesql行转列和列转行。

hive操作（行转列，列转行）

aiduo3346的博客

09-05

4622

hive中的行转列，列转行

06-19

2552

行转列： 1.行转列所用的函数 CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串; CONCAT_WS(separator, str1, str2,…)：它是一个特殊形式的 CONCAT()。第一个参数作为剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间; COLLECT_SET(col)：函数

Hive sql 行列转换(行转列，列转行)

Ajekseg的博客

07-29

7228

是concat的特殊形式，第一个参数是分隔符，分隔符会放到要连接的字符串之间,分隔符可以是字符串，也可以是其他参数。lateralview首先为原始表的每行调用UDTF，UTDF会把一行拆分成一或者多行，lateralview再把结果组合，产生一个支持别名表的虚拟表。select分类字段,concat_ws(’,’,collect_set(合并字段))as别名fromtable_namegroup分类字段;例concat_ws(‘,’,[‘a‘,‘b’])–>‘a,b’...

hiveSQL行转列 列转行

mrgui008的博客

03-17

509

hiveSQL 实现列转行 行转列

hiveSQL之行转列与列转行

m0_60385677的博客

12-03

131

用到函数 explode（）： collect_set（）:去重 collect_list()：不去重

Hivesql 行转列,列转行详解

Java_Hadoop的博客

11-13

1990

hive中行转列 行转列：concat_ws 和collect_set或者collect_list结合使用 collect_set函数是对统计的数据进行去重，然后拼接在一起，返回一个set集合 collect_list是不去重，对所有的值进行拼接然后返回一个list集合 select id,isbook,concat_ws(',', collect_list(cast(time as string))) as List from table group byid,isbook 使用str_..

hive sql行转列后列转行

williamjame的博客

11-12

310

hive sql行转列后列转行场景：对拼接的手机号拆分后解密，解密完再拼接总结使用函数：concat_ws(’,’,collect_set(column)) 说明：collect_list 不去重，collect_set 去重。 column的数据类型要求是string

hive行转列/列转行

chimchim66的博客

05-20

447

准备建表语句： create table syc_ads.test_transform ( name string comment '姓名', constellation string comment '星座', blood string comment '血型', hobby string comment '爱好' ); 准备测试数据： insert into table syc_ads.test_transform va

Web开发中表格固定行和列的简单实现方法

在Web开发中，创建固定行和列的表格是一项常见的需求，尤其在制作复杂的报表或数据展示时，能够显著提高用户交互体验。固定行和列的实现主要是通过CSS来完成的，接下来将详细介绍相关的知识点。首先，要了解CSS...