【大数据入门核心技术-Hive】（十六）hive表加载csv格式数据或者json格式数据

已于 2023-09-27 11:10:33 修改
阅读量449 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据技术入门到21天通关 文章标签： 大数据 hive hadoop 开发语言 后端 数据仓库
于 2023-07-31 22:51:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/forest_long/article/details/132032072
本文介绍了如何在Hive中加载JSON和CSV格式的数据。首先，文章详细阐述了环境准备，包括参考Hive的集群搭建教程。接着，重点讲解了加载JSON数据的过程，包括数据准备、创建Hive表以及导入数据到表中的步骤。最后，提到了Hive加载CSV格式数据的操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、环境准备

 hive安装部署参考：

【大数据入门核心技术-Hive】（三）Hive3.1.2非高可用集群搭建

【大数据入门核心技术-Hive】（四）Hive3.1.2高可用集群搭建

二、hive加载Json格式数据

1、数据准备

vi stu.json

[{"id":111,"name":"name111"},{"id":222,"name":"name22"}]

上传到hdfs

hadoop fs -put stu.json /tmp

2、创建hive表

CREATE TABLE `test_json_serde`(
`id` string COMMENT 'from deserializer',
`name` string COMMENT 'from deserializer')
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.JsonSerDe'
STORED A

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【大数据入门核心技术】学习导读列表--建议收藏
12-03 1982
本专栏主要为博主总结大数据生态内容，包括Hadoop、Hive、Hbase、Impala、Sqoop、Spark、Flink、Kafka、ElasticSearch、Ambari等最具价值的大数据相关技术。【大数据入门核心技术-基本概念】（一）大数据相关基本概念【大数据入门核心技术-基本概念】（二）大数据行业生态【大数据入门核心技术-基本概念】（三）大数据应用领域和行业【大数据入门核心技术-Zookeeper】
【大数据入门核心技术-Doris】（六）数据导入
11-28 683
用于指定导入文件中的列分隔符，默认为\t。如果是不可见字符，则需要加\x作为前缀，使用十六进制来表示分隔符。如hive文件的分隔符\x01，需要指定为-H "column_separator:\x01"。-H “label:load_local_file_test” \ # 本次任务的唯一标识。http://主机名:端口号/api/库名/表名/_stream_load。用于指定导入文件中的换行符，默认为\n。可以使用多个字符的组合作为列分隔符。可以使用做多个字符的组合作为换行符。
hive导入CSV格式的数据
山鹰的专栏
07-04 6717
解决方法有几种 1)，对csv文件做处理 2)，hive定义inputstream，用正则表达式处理 2.1)cat /home/alex/test/testdata.txt "1","alex","dba" "2","james","dba" 2.2)hive> create table test_serde(c1 string,c2 string, c3 string) R
csv 文件 导入hive
04-24
数据文件
Apache Hive 加载JSON数据与JSON解析
猫君之上的博客
07-21 522
首先Hive提供了三种方案（应用于不同的场景）： 建表JsonSerDe 内置函数get_json_object 内置函数json_tuple 1.使用JsonSerDe创建表加载JSON文件 注意此种方式需要满足的条件： json文件必须是形如如下格式： 下面 xxx可以是对象，也可以是数组 { key1:xxxx, key2:xx, key3,xxx } 另外...
【Hive】hive加载json数据和解析json（一）
u011250186的博客
06-12 870
本文主要还是介绍hive中函数的解析json的函数get_json_object()和json_tuple()的使用，如果想通过serde直接加载hive数据，请看第二篇！ 【Hive】hive加载json数据和解析json（二）：https://blog.youkuaiyun.com/lsr40/article/details/103020021 一、 今天记录一下使用hive怎么加载json格式的数据，对于json格式，就不多做更多说明了，测试的数据是spark的example里面的people.jso.
json数据加载到hive
m0_56007525的博客
09-05 2040
将json数据导入到表tmpjson中，可以用load data 也可以直接上传文件到表文件夹。用json函数get_json_object()解析tmpjson表的数据并插入到goods表中，或者用json_tuple。2.要把每一个字段值导入，不能直接导入，需要借助mapreducer，一行一行将对应值写入表。这里用的表数据如下：price，name，shop，comment，p，op，m。注意：如果数据有null，则json数据可能存在空行。首先建立一个临时表，将一行json数据做一个字段。
hive加载json数据解决方案
qq_38472451的博客
07-03 142
hive加载json数据解决方案
大数据新视界 -- 大数据大厂之 Hive 数据导入：多源数据集成的策略与实战（上）（3/ 30）
最新发布
【青云交】华为云云享专家，在技术圈个人影响力位居前17，跻身博客之星 TOP23。同时荣登【原力榜、作者周榜、领军人物和综合热榜】四榜榜首，破优快云排行榜记录！苏州地区各榜也统统拿下榜首之位，实力爆棚！非常感谢全网十多万粉丝的喜欢和关注！
11-22 5092
本文深度探究 Hive 数据导入，详述多种导入方式与数据格式适配，细析多源集成策略（含整合模式、清洗转换），佐以影视娱乐与电商行业实例、丰富代码及深度分析，为多源数据入 Hive 提供详尽指引并设互动环节，同时预告后续篇章。
Hive创建外部表导入不同格式的数据至数据仓库
weixin_74292291的博客
01-25 936
1，数据仓库的层级结构。2，外部表的详细定义以及语法。3，数据装载的几种方式。4，常用的序列化/反序列化器(SerDe)。5，设置一般表的元数据属性。
hive表加载csv格式数据或者json格式数据
cclovezbf的博客
11-25 3464
先说第二行数据a,b,c,,,,,d 这个我确实是解决不了。但是换种思路，csv不是说分割符一定就是,也可以是其他符号比如@，那么a@b@c,,,,,d ，这种对于csvreader来说不就是小菜一碟。就是逃逸字符的下一个字符逃跑了。a,b,ab"cd" --其中这种很简单 因为是根据,分割的 所以直接分成三部分。其实逃逸字符本身的目的我认为就是有些字符串千奇百怪，但是我还要保留其原来特性。"","8"这里第一个字段是""。a,b,c,,,,,d --这个的第三列字符串就是 c,,,,,d。
Hive导入csv文件
鸭梨的博客
12-26 9125
现有文件为csv格式,需要导入hive中,设csv内容如下 1001,zs,23 1002,lis,24 首先创建表 create table if not exists csv2( uid int, uname string, age int ) row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde' stored as textfile ; 导入数据及查询 load data local inpath '/d
一百三十三、Hive——Hive外部表加载含有JSON格式字段的CSV文件数据
tiantang2renjian的博客
07-24 1068
Hive外部表加载含有JSON格式字段的CSV文件数据
【hive】hive加载json数据和解析json（二）
lsr40的博客
11-13 3846
超久超久没写博客了，近来的都是比较杂的临时活，大家都在喊他的活很急，最要紧，挺令我心烦的，不过有活总比没活做好吧！ 言归正传，本文讲的是hive解析json格式的数据 最近处理了这么一份数据，json格式的，其实我之前写了一篇博客： hive加载json数据和解析json（一）：https://blog.youkuaiyun.com/lsr40/article/details/7939916...
json导入hive
月牙儿
01-11 3731
hive中可以直接导入json格式的数据，mongodb数据或者json串 1.到点击打开链接下载json-serde-1.3.7-jar-with-dependencies.jar 2.这个jar包添加到hive安装路径的lib目录下 3.打开hive执行 add jar /jar包所在路径/json-serde-1.3.7-jar-with-dependencies.jar;
hive：函数：get_json_object和json_tuple 操作json数据（hive加载json数据和解析json）
不花的花和尚的博客
06-25 7642
业务情景一： hive加载json数据到表中： linux本地创建文件people.json 数据为： {"name":"Michael"} {"name":"Andy", "age":30} {"name":"Justin", "age":19} 创建表： CREATE TABLE ods.spark_people_json ( `nam...
将 csv 文件 加载到 hive 表中
weixin_41998175的博客
07-07 664
从 CSV 文件加载数据到 Hive 表中 概述 在这篇文章中，我将向你介绍如何将一个 CSV 文件加载到 Hive 表中。作为一名经验丰富的开发者，我将为你详细描述整个流程，并提供每一步需要执行的代码。 流程 下面是将 CSV 文件加载到 Hive 表中的流程： 步骤 描述 1 创建 Hive 表 2 ...
使用HIVE读取JSON格式数据文件
qq_35824427的博客
04-27 1267
使用Hive读取Json文件
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

forest_long

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值