0436-如何在Hive中使用Map类型

最新推荐文章于 2025-10-12 23:06:04 发布

原创

最新推荐文章于 2025-10-12 23:06:04 发布 · 1.5k 阅读

1 ·

CC 4.0 BY-SA版权

本文档详细介绍了如何在Hive中使用Map类型存储数据，包括环境准备、创建包含Map类型的Hive表、数据查看以及Map类型的特性总结。通过示例展示了Map在Hive中的使用方法，如键值对的分隔符设置以及查询Map中数据的SQL语句。

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github：
https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢

1.文档编写目的

在前面的文章Fayson介绍了《Hive创建外部表CSV数据中列含有逗号问题处理》。本篇文章Fayson主要介绍在Hive中使用Map类型存储数据。

内容概述

1.环境准备

2.创建Hive表及测试

3.总结

测试环境

1.CM和CDH版本为5.15

2.环境准备

准备测试数据，文本数据内容如下：

0098.HK,104,2018-10-21T22:20:00.105Z,name:fayson|sex:男|age:18
0098.HK,104,2018-10-21T22:20:00.105Z,name

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Hadoop_SC

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

05.hive数据类型--复合类型--map类型的使用.mp4

04-29

05.hive数据类型--复合类型--map类型的使用.mp4

0437-如何在Hive中使用Struct类型

01-20

Hive中支持多种数据类型除了常用的TINYINT、SMALLINT、INT、BIGINT、BOOLEAN、FLOAT、DOUBLE、STRING、BINARY、TIMESTAMP、DECIMAL、DATE、VARCHAR、CHAR类型外，当然还包含一些复杂的数据类型（array、map、struct...

参与评论您还未登录，请先登录后发表或查看评论

hive 使用 map 类型字段

AI天才研究院

07-06

1万+

创建一个map类型字段 create table test3(field2 map<string,string>) row format delimited fields terminated by ',' collection items terminated by "|" map keys terminated by ":"; map keys terminated by "...

Hive之Map常用方法

最新发布

TVh_yhmm的博客

10-12

413

Hive中的map函数是一种用于处理键值对数据的内置函数。map函数在数据转换和聚合操作中非常有用，特别是在处理半结构化或嵌套数据时。除了基本用法外，map函数还可以与其他Hive函数结合使用，实现更复杂的数据处理。例如，可以使用map_values函数提取map中的所有值，或使用map_keys函数提取所有键。最常见的用法包括创建新的map对象、从现有数据中提取键值对、以及对map类型的数据进行转换。键和值可以是任意Hive支持的数据类型，但通常键为字符串或数值类型，值可以是任意类型。

hive向map类型插入多条数据

weixin:tchongyu

04-14

1435

insert into map_type select map('2','t2','3','t3','4','t4','5','t5','6','t6') from (select 1) t;

Hive 复杂数据类型之map

鸭梨的博客

12-27

4752

定义格式如下： create table tableName( ....... colName map<T,T> ...... ) 案例准备：测试数据如下 zhangsan chinese:90,math:87,english:63,nature:76 lisi chinese:60,math:30,english:78,nature:0 wangwu chinese:89,math:25 create table if not exists map1( name string,

hive中map相关函数总结

weixin_43597208的博客

12-21

5081

具体来说，str_to_map 函数会将一个由键值对组成的字符串解析成一个 Map 对象，其中键和值之间使用指定的分隔符进行分隔。其中，str 是要转换的字符串，delimiter1 是键值对之间的分隔符，delimiter2 是键和值之间的分隔符。第三种sql,maps字段的类型是map;给出一组学生数据，有名字，课程，等级，分数等字段，现在求每门课的情况，包含平均成绩，及这门课包含哪些学生及学生的等级。问题来了，能否在第二种的基础上，实现第一种和第三种的结果，且字段类型是string;

深入探究 Hive 中的 MAP 类型：特点、创建与应用

2401_83088008的博客

04-04

358

在大数据处理领域，Hive 作为一个基于 Hadoop 的数据仓库基础设施，提供了方便的数据存储和分析功能。Hive 中的 MAP 类型是一种强大的数据类型，它允许用户以键值对的形式存储和操作数据。本文将深入探讨 Hive 中 MAP 类型的特点，详细介绍如何创建含有 MAP 类型字段的表，并通过实际示例展示其在数据处理中的应用。Hive 中的 MAP 类型是一种非常强大的数据类型，它具有键值对存储、动态性、嵌套性和查询灵活性等特点。

HIVE如何校验map类型数据 -- 比较json和map的转换前后数据一致性

weixin_46429290的博客

07-05

1011

HIVE如何校验map数据对于json转map之后，通过转换前的json和转换后的map做checksum是不可行的，因为两者结果差别还是挺大的结果：二、思路那么对于json转map后的checksum应该怎么做？或者如何确定转换的结果没有错？采用的方法是通过get_json_object和element_at方法来确定转换前后结果是否又误。将转换后所有的map结果的key提取出来然后和转换前后的json和map进行关联提取每个key数据关联求解实现方法2 上面上个方法虽然可以得解，但是有一些很

HIVE之Map数据类型应用

Change the World by Program

04-19

2591

使用场景场景一 (博主实际使用场景) 因为公司近期涉及埋点数据的业务逻辑,对于扩展字进行补充因此采用map数据类型存储扩展字段. 场景二 (其他业务场景) 场景2.1 我的项目里，生成的一个中间表，为了优化性能，里面有一列最好是个数组，因为如果把数组打散，每行上存一个元素，会因为其他列的重复导致数据量爆炸。首先想从上游表中生成这个数组，搜索半天文档，发现唯一的方式是把源数据列先转STRI...

Hive常用函数

04-07

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析

48 Hive创建表

阿甘兄

08-08

550

建表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment],...

hive数据导入map，struct结构字段

hellojoy的博客

03-02

1515

最近工作中向别的部门提供接口数据时有这样的需求将下面的表格形式的数据的后两列输出为map形式即这个形式：然后用这个函数处理： str_to_map(concat_ws(',',collect_set(concat_ws(':',a.寄件省份,cast(a.件量 as string))))) as 寄件省份件量分布注意：collect_ws这个函数会对元素数组去重，如果不去重用co...

HIVE MAP 函数使用

wuzhilon88的专栏

05-26

3416

hive 中 map<string,map<string,string>> 类型使用，构建写入数据案例 hive > select map('a','1'); OK {"a":"1"} Time taken: 1.058 seconds, Fetched: 1 row(s) hive> > > select map('a','1','b','2'); OK {"a":"1","b":"2"} hive> select m...

hive中，向map类型插入数据时，需要str_to_map一下

weixin_30340819的博客

12-21

827

如题转载于:https://www.cnblogs.com/hark0623/p/5064670.html

HIVE map

花木兰

10-18

672

map 构造函数 map (key1, value1, key2, value2, …) Creates a map with the given key/value pairs demo select map("a", 1, "b", 2, "c", "dd") as m1, map("a", 1, "b", 2, "c", 3) as m2, map(1, 1, 2, 2, 3, 3) as m2 返回 m1 map<string,string> m2 map<s

HIVE中map类型操作

XIAOHUI_ID的博客

06-23

7005

HIVE中map类型操作前言今天写了一下hive中map类型字段，如何在原有基础上在增加新的值。 1.建表代码如下（示例）： create table aa_test( name string, age int, source map<string,string> ) ROW FORMAT DELIMITED fields terminated by '\t' collection items terminated by ',' map keys terminated by ':'; 2

hive中的map函数

qq_29632521的博客

08-18

3777

在拼接画像标签的时候，了解到这个很少用的map函数。的确好用，不光节省资源，而且可以添加权重分值，还可以计算封装的标签的数量。代码： flag：标签 cnt：权重 str_to_map(CONCAT_WS('&',COLLECT_SET(concat(t0.flag,":",cnt))),"&",":" ) mm 按照如上拼接之后，就可以把标签封装成一个map格式的字段，供后续使用。 ...