hive 双分区外部表 复合数据结构处理 json list map互相嵌套

最新推荐文章于 2024-10-28 18:45:19 发布
最新推荐文章于 2024-10-28 18:45:19 发布
阅读量1.3w 收藏
点赞数
分类专栏： 数据存储 大数据 hive 文章标签： hive shell 双分区 外部表 json
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jzy3711/article/details/84257654
版权
本文详细介绍了如何在Hive中创建与管理外部表，并解析JSON数据结构，包括list、map和struct的对应关系，以及如何分区和设置行格式。通过具体实例和参考链接，帮助读者理解Hive数据处理的高级技巧。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

api="TopicHeatTrend"
hadoop dfs -mkdir /jzytest/hive${api}/
 hive -e 'create external table if not exists jzy'$api'json
( 
distribute map<string,map<string,int>>, 
heatTrend array<struct<channel:string,heat:int,list:array<struct<heat:int,time:string>>>>, 
topData map<string,array<struct<list:array<map<string,string>>,source:string>>>
)
partitioned by (topic_id string,dt string)
row format serde "org.apache.hive.hcatalog.data.JsonSerDe"
LOCATION "hdfs:///jzytest/hive'$api'/";'

原数据格式：

结果：

总结：

1.list对应array,map对应map，json对应struct

2.使用struct时要注意key对应

参考：https://blog.youkuaiyun.com/jzy3711/article/details/84246075

https://blog.youkuaiyun.com/jzy3711/article/details/84257589

原数据样例下载：https://download.youkuaiyun.com/download/jzy3711/10794293

https://download.youkuaiyun.com/user/jzy3711/uploads

hive-es系列第一篇: es嵌套数据写入hive
qq_25278637的博客
11-27 1530
一、背景介绍: 如上图所示，公司展示的实际控制人是使用工商投资关系，通过spark程序进行股权穿透计算后得到的结果，结果是直接写入到es的，es的结构如下图： 再拿es中的一条具体数据来看看，如下图： 可以看到es中有三个属性，分别是target_id, links,nodes,其中target_id是一个正常的string字段，links和nodes都是嵌套的json数组。 二、问题描述 因为实际控制人的数据是直接使用spark算法写入es的，后来需要用这个数据来进行一些其他逻辑的加工，所以首先
hive数据仓库
qq_44676946的博客
03-15 3490
数据仓库-Hive 数据仓库 1.1. 基本概念 英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。 数据仓库是存数据的，企业的各种数据往里面存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。 可以理解为：面向分析的存储系统。 1.2. 主要特征 数据仓库是面向主题的（Subject-Oriented ）、集成的（Integ
hive中array嵌套map以及行转列的使用
weixin_33785108的博客
01-22 430
1. 数据源信息 {"student": {"name":"king","age":11,"sex":"M"},"sub_score":[{"subject":"语文","score":80},{"subject":"数学","score":80
hive 内部表，外部表，分区
爱笑的博客
04-18 709
Hive的数据分为表数据和元数据，表数据是Hive中表格（table）具有的数据；而元数据是用来存储表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 Hive本身是没有专门的数据存储格式，也没有为数据建立索引，只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符，Hive就可以解析数据。所以往Hive表里面导入数据只是简单的将数据移动到表所在的目录中（如果数
Map里面套List
weixin_43167662的博客
12-06 335
Map
Hive中array嵌套map数据分离和处理
BabyFish13
01-04 4993
1、准备要处理数据的临时表 drop table if exists xxlvc0103_json; create table xxlvc0103_json as select pt_day,uid,parms['value'] json_value from oss_bi_all_api_play_feedback_active where pt_day between '2019-01-0...
Hive之 管理表(内部表)与外部表
shufangreal的博客
06-14 494
Hive之 管理表(内部表)与外部表 首先通过desc formatted tablename来看表是否为外部表/内部表。 内部表：当我们的数据需要通过Hive进行管理的时候或者生成临时表的时候，我们就用内部表 外部表：当我们需要从已有的HDFS的外部数据关联进Hive Table时， 而且防止误删数据的时候我们就用外部表。 内部表与外部表的特征比较 ARCHIVE/UNARCHIVE/TRUNCATE/MERGE/CONCATENATE 只能用于内部表 DROP table对外部表来说只删除关联的元
Hive总结
lz_N_one的博客
07-20 858
Hive中一些常见的知识，闲杂时间整理
Hive基础知识大全
qq_54677773的博客
07-24 5075
Hive本质是将SQL转化为MapReduce的任务进行计算，底层由HDFS来提供数据存储。说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更进一步说hive就是MapReduce的一个客户端。Hive是数据库建模工具之一可以向Hive传入一条交互式SQL,在海量数据中查询分析得到结果的平台继承重写evaluate()，这个方法不是由接口定义的,因为它可接受的参数的个数,数据类型都是不确定的。Hive会检查UDF,看能否找到和函数调用相匹配的evaluate()方法。
大数据面试题整理——Hive
最新发布
qq_68076599的博客
10-28 1488
Hive是一个构建在Hadoop上的数据仓库软件，它提供了类似SQL的查询语言，使得用户可以用SQL来查询存放在Hadoop上的数据。Hive是一种结构化数据的存储和查询机制，它可以将SQL语句转换为MapReduce任务在Hadoop上执行。Hive可以自定义单行函数、聚合函数、炸裂函数。定义单行函数，通过继承UDF，重写evaluate方法。例如，创建一个自定义的字符串拼接函数：定义炸裂函数，继承，重写process方法。
Hive 特殊的数据类型 Array、Map、Struct
JIE的博客 --- moon_coder
05-11 1933
获取数组值的方式和我们在 Java 中一样，采用下标的方式访问，当访问的下标超过数组的长度时，并不会报错，它会返回。这里值 Value 中存在整型和字符型数据类型不统一的情况，它会统一将值 Value 都转换成字符型。Map 是 KV 键值对类型，其中存储的字段数量可多可少，但是 KV 键值对的数据类型必须提前确定。和 Map 一样，它会将前面的数据当作 Key，后面的数据当作 Value，两两组合，形成结构体。它会将前面的数据当作 Key，后面的数据当作 Value，两两组合，形成 Map 集合。
控制Hive MAP个数详解
weixin_34221276的博客
10-28 161
Hive的MAP数或者说MAPREDUCE的MAP数是由谁来决定的呢？inputsplit size,那么对于每一个inputsplit size是如何计算出来的，这是做MAP数调整的关键.HADOOP给出了Inputformat接口用于描述输入数据的格式，其中一个关键的方法就是getSplits，对输入的数据进行分片.Hive对InputFormat进行了封装：而具体采用的...
Hive之Map常用方法
weixin_43597208的博客
09-20 1万+
实际工作中，有时会出现map复杂数据类型，字段field1形式如：{‘k0’:‘abc’,‘k1’:‘01,02,03’,‘k2’:‘456’}，如果是string形式，我们可以适用get_json_object 函数，取出对应的value值，具体如：get_json_object（field,‘$.k0’），即可取出值abc,如果是map数据类型，这个值该怎么取呢？可以适用field[‘k0’]这种形式取出abc，顺便把map数据类型的常用方法做个总结；
hive复合数据类型之map
热门推荐
松门一枝花
09-02 1万+
概述 MAP：MAP包含key->value键值对，可以通过key来访问元素。比如”userlist”是一个map类型，其中username是key，password是value；那么我们可以通过userlist['username']来得到这个用户对应的password； 操作实例 1、创建表 hive> create table map_test(id stri
Hive 之查询
hj1993的博客
02-13 1019
满外连接：将会返回所有表中符合WHERE语句条件的所有记录。如果任一表的指定字段没有符合条件的值的话，那么就使用NULL值替代。内连接：只有进行连接的两个表中都存在与连接条件相匹配的数据才会被保留下来。左外连接：JOIN操作符左边表中符合WHERE子句的所有记录将会被返回。，导出到本地只会有两个文件有数据，另一个为空，只用到了两个。语句，但是只支持等值连接，不支持非等值连接，即表与表之间。必须有一列值相等作为连接条件，n 张表连接，至少要有。连接 n个表，至少需要n-1个连接条件。
hive 集合函数
qq_43192537的博客
10-27 1005
hive 集合函数
hive的数据类型简介
weixin_44519124的博客
08-12 2569
Hive的内置数据类型分为两大类： 1、基础数据类型；2、复杂数据类型。 一、基础数据类型包括： 二、复杂数据类型包括：ARRAY、Map、struct、union，这些复杂类型是由基础类型构成的。 ARRAY：ARRAY类型是由一系列相同数据类型的元素组成，这些元素可以通过下标来访问。比如有一个ARRAY类型的变量fruits，它是由 ['apple','orange','mango']组成，那么我们可以通过fruits[1]来访问元素orange，因为ARRAY类型的下标是从 0..
hive对json数据处理的三种方式
m0_37135879的博客
12-18 7459
数据背景 hive (ods)> select * from jsont1; OK jsont1.username jsont1.age jsont1.sex jsont1.json user1 18 male {"id":1,"ids":[101,102,103],"total_number":3} user2 28 female {"id":2,"ids":[201,202,203],"total_number":3} user3 38 male {"id":3,"ids":[301,302,30
Hive常用操作：内部表、外部表、分区与数据导入导出
外部表的元数据由Hive管理，但数据目录由用户指定，删除外部表只会移除元数据，数据依然保留在原位置，这使得外部表更适合映射已存在的数据源。 分区是Hive中的一个重要概念，可以极大地提高查询效率。例如，创建一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值