Hive QL场景题第三部分详解

最新推荐文章于 2023-10-10 16:27:12 发布

aju20

最新推荐文章于 2023-10-10 16:27:12 发布

阅读量214

点赞数

分类专栏： BigData_SQL 文章标签： hive sql big data

本文链接：https://blog.youkuaiyun.com/Dream_aju/article/details/120595025

版权

本文详细介绍了Hive SQL中的行转列、列转行操作，结合具体实例展示了如何进行数据转换。同时，还探讨了时间戳函数`unix_timestamp`和`from_unixtime`的使用，包括获取当前时间戳以及相互转化的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

11、行转列（行是水平、列是垂直）

（行是从左往右，列是从前往后）

数据： t4表：

id tag flag 
a b 2
a b 1
a b 3
c d 6
c d 8
c d 8

编写sql实现如下结果：

id tag flag 
a b 1|2|3
c d 6|8

create table t4( 
id string, 
tag string, 
flag int 
)
row format delimited 
fields terminated by ' ' 
;

load data local inpath './hivedata/t4.txt' overwrite into table t4;

分析：
行转列就是从左完网右的数据变成从前往后
行：水平
列：垂直
思想：就是建立一张虚表，临时存储


select id,tag,
concat_ws("|",collect_set(cast(flag as string)))
from t4
group by id,tag;

result:
a       b       2|1|3
c       d       6|8

12、列转行(垂直转水平)

数据： t5表

uid name tags 
1	goudan	chihuo,huaci
2	mazi	sleep
3	laotie	paly

编写sql实现如下结果

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

aju20

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

最全Hive面试题2024年（2万字详解）

大模型大数据攻城狮的专栏

03-25

1080

开发Hive中的UDF需要编写Java类，并实现特定的接口。开发者需要继承类，并实现evaluate方法，该方法定义了函数的逻辑。对于复杂的函数，可能需要实现initialize和close方法来处理资源初始化和清理工作。开发完成后，需要编译成jar包，并使用Hive的ADD JAR命令将jar包添加到Hive会话中。之后，可以使用命令来注册UDF，这样就可以在Hive查询中使用自定义的函数了。需要注意的是，UDF的性能对Hive查询性能有直接影响，因此在开发时应尽量优化UDF的执行效率。

hive建表语法中的分隔符设定

12-22

5105

FIELDS TERMINATED BY：设置字段与字段之间的分隔符 COLLECTION ITEMS TERMINATED BY：设置一个复杂类型（array,struct)字段的各个item之间的分隔符 MAP KEYS TERMINATED BY：设置一个复杂类型(Map)字段的key value之间的分隔符 LINES TERMINATED BY：设置行与行之间的

参与评论您还未登录，请先登录后发表或查看评论

Hive基础知识点整理

SJH2725970073的博客

08-03

7206

hive数据类型基本数据类型常用的： INT BIGINT DOUBLE STRING 集合数据类型 STRUCT: struct(street:string,city:string) MAP: map(string,int) ARRAY: array(string) **注意：**我们在导入数据是一行一行导入，因此我们需要额外的字段来匹配文件中的字符字段解释： row format delimited fields terminated by ‘,’ 指定了逗号作为列分隔符 collecti

5.hive建库建表与数据导入

weixin_46556352的博客

05-05

3200

5.hive建库建表与数据导入

【Hive】分隔符『单字节分隔符 | 多字节分隔符』

渐渐的忘记，赶不上明天（读研ing，2024年毕业）

12-14

2792

1. 概述 2. 单字节分隔符方法：使用delimited关键字 3. 其它复杂情况方式一：写MR程序进行字符替换转为单字节分隔符问题（不推荐）方式二：自定义InputFormat转为单字节分隔符问题（不推荐）方式三：使用serde关键字（推荐）

hive的语法命令介绍

weixin_34242819的博客

01-14

198

1.hive的基本语法： create databases mydb #创建数据库 show databases #查看所有的库 use mydb #切换数据库 create table t_user(id int ,name string,age int) #创建表 create table t_user(id int ,name...

Hive QL场景题第七部分详解

Dream_aju的博客

10-06

272

31、一张大表A(上亿条记录)和小表B(几千条记录)，如果join出现数据倾斜，有什么解决办法？略 32、有如下三张表: 表login_a(登录表): ds user_id 2019-08-06 1 2019-08-06 2 2019-08-06 3 2019-08-06 4 create table login_a( ds date, user_id int ) row format delimited fields terminated by ' '; load data l

Hive QL场景题第五部分详解

Dream_aju的博客

10-03

237

21、使用sql实现如下：样例数据: t1表 gender,cookie,ip,timestampe,ua F,1707041428491566106,111.200.195.186,1208524973899,Dalvik%2F2.1.0%20%28Linux%3B%20U%3B%20Android ...具体数据如下图将图片中的awk修改为使用sql编写，然后将上诉题作出回答？统计pv/uv的使用sql，其它问题语言描述即可。 22、使用hive求出两个数据集的差集？

Hive_QL详解1

08-04

**第三部分：Hive 数据类型方面的优化** 1. **分区策略**：根据业务需求如日期进行分区，减少无效数据扫描，便于数据管理和清理。 2. **Bucket设置**：通过Bucket Map Join优化大数据量的Join操作，限制内存中的...

Hive的一些基本操作

newchitu的博客

06-05

373

目录 1. Create Table 1.1介绍 1.2 语法 1.3 基本示例 1.4 创建分区 2. Alter Table 2.1 添加分区 2.2 删除分区 2.3 重命名表 2.4 修改列/属性 2.5 添加/替换列 3. 创建视图 4. 显示表 5. 加载 5.1 语法 6. 插入 6.1 INSERT语法 6.2 WRITE语法 7. 删除 ...

hive建表指定列分隔符为多字符分隔符实战(默认只支持单字符)

helloxiaozhe的博客

10-10

4414

Hive多字符的列分隔符支持示例，清洗入hive表的过程中，发现字段之间的单一字符的分割符号已经不能满足列分割需求，因为字段值本身可能包含分隔符。

HIVE使用unix_timestamp函数提示unix_timestamp(void) is deprecated. Use current_timestamp instead.

帅成一匹马

04-07

1273

结论：使用select date_format(current_timestamp,'yyyy-MM-dd HH:mm:ss') 代替select from_unixtime(unix_timestamp(), 'yyyy-MM-dd HH:mm:ss')。总结：以后还是尽量不用官方弃用的函数。今天在迁移项目时，发现HIVE中unix_timestamp得到的时间在测试环境和线上环境不一致，相差8小时。使用select from_unixtime(unix_timestamp(), '...

hive指定数据切分格式--row format

S_Running_snail的博客

11-19

3603

创建表时需要指定数据切分格式，会用到ROW FORMAT关键字。下面是java集合框架图，存入hive的数据就是集合中的某一种所以在创建标的时候就可以指定分隔符：第一个--<字段>,由[ , ]分割----------FIELDS TERMINATED BY ',' 第二个是--<Array形式>，元素与元素之间由[ - ]分割----------COLL...

Hive表如何使用多字符分隔

qiulinsama的博客

01-26

3865

一般情况下，Hive建表指定分隔符使用”row format delimited fields terminated by”语法，以下是一个最简单的例子， hive&gt; create external table t2 (a int, b string) &gt; row format delimited fields terminated by '|' &gt; locati...

阿里开源规则引擎QLExpress-入门实战

最新发布

04-30

### Hive 中 `ALTER TABLE` 操作的用法详解 #### 1. 删除分区 (`DROP PARTITION`) 在大数据环境中，Hive 提供了灵活的操作方式来管理表及其分区。如果需要删除某个特定分区的数据而不影响整个表结构，则可以使用 `ALTER TABLE ... DROP PARTITION` 命令[^1]。以下是具体语法和示例： ```sql -- 删除指定分区 ALTER TABLE table_name DROP IF EXISTS PARTITION (partition_spec); ``` 其中，`partition_spec` 表示分区条件，通常是一个键值对的形式。例如： ```sql -- 示例：删除名为 student_data 的表中 year=2023 和 month=1 的分区 ALTER TABLE student_data DROP IF EXISTS PARTITION (year=2023, month=1); ``` 此命令会移除符合条件的分区以及该分区下的数据文件[^1]。 --- #### 2. 修改列属性 (`CHANGE COLUMN`) 当需要调整现有列的名称、类型、注释或位置时，可使用 `ALTER TABLE ... CHANGE [COLUMN]` 命令[^3]。然而，在执行此类操作时需要注意兼容性和实际数据的一致性。 ##### **常见错误** 尝试修改列名或类型时可能会遇到类似以下错误： ``` FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Unable to alter table. The following columns have types incompatible with the existing columns in their respective positions : gender ``` 这表明新定义的列与原始列存在不兼容的情况，比如数据类型的转换失败或者存储格式冲突[^2]。 ##### **解决方案** - 确保目标数据类型能够容纳当前数据集中的所有值。 - 如果涉及复杂变更（如从字符串转为整数），建议先备份原表并验证逻辑后再实施更改。下面是成功案例的一个例子： ```sql -- 将 sex 列重命名为 gender 并更新其注释 ALTER TABLE school_class_info CHANGE COLUMN sex gender INT COMMENT '性别' AFTER name; ``` 注意这里指定了新的顺序关系（即放置于 `name` 字段之后）。如果没有特别需求，默认保持原有排列不变即可[^3]。 --- #### 3. 添加新列 (`ADD COLUMNS`) 除了修改已有字段外，还可以向已存在的表格追加额外的信息维度。通过下面的方式实现新增功能的同时不影响既有业务流程运行状态: ```sql ALTER TABLE table_name ADD COLUMNS (new_column_name data_type [COMMENT 'comment']); ``` 举个简单的实例说明如何扩展学生档案记录里加入出生日期这一项： ```sql ALTER TABLE student_profile ADD COLUMNS (birthdate DATE COMMENT '学生的生日'); ``` 这样就完成了对该数据库对象结构上的扩充处理过程。 --- ### 总结以上介绍了三种主要场景下利用 Hive SQL 进行表结构调整的方法——包括但不限于删减无用的历史分片资料；优化命名体系以便更直观表达语义含义；最后则是依据项目进展适时引入必要的补充指标参数等内容。每一步都需要谨慎对待以防止意外丢失重要资产或是引发不必要的计算开销等问题发生。