【Hive】数据仓库

最新推荐文章于 2024-12-12 20:43:20 发布
最新推荐文章于 2024-12-12 20:43:20 发布
阅读量105 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 2020
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41864648/article/details/118045430
本文深入解读Hive作为Hadoop的数据仓库工具，介绍其与Hadoop的关系，数据存储模型（包括DB、Table、ExternalTable、Partition和Bucket），以及如何利用HDFS和MapReduce进行数据操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、概念

  1. 什么是Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

  2. Hive与Hadoop的关系
    Hive利用HDFS存储数据，利用MapReduce查询数据
    在这里插入图片描述

  3. 数据存储

1、Hive中所有的数据都存储在 HDFS 中，没有专门的数据存储格式（可支持Text，SequenceFile，ParquetFile，RCFILE等）
2、只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，Hive 就可以解析数据。
3、Hive 中包含以下数据模型：DB、Table，External Table，Partition，Bucket。
 db：在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹
 table：在hdfs中表现所属db目录下一个文件夹
 external table：与table类似，不过其位置可以在任意指定路径
 partition：在hdfs中表现为table目录下的子目录
 bucket：在hdfs中表现为同一个表目录下根据hash散列之后的多个文件

hive存储格式
bear
05-07 2462
hive文件的存储格式：textfile、sequencefile、rcfile、自定义格式
Hive的存储格式
weixin_43322583的博客
08-30 1549
Hive支持的存储数的格式主要有：TEXTFILE(默认格式) 、SEQUENCEFILE、RCFILE、ORCFILE、PARQUET。textfile为默认格式，建表时没有指定文件格式，则使用TEXTFILE，导入数据时会直接把数据文件拷贝到hdfs上不进行处理;sequencefile，rcfile，orcfile格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中，然后再从表中用insert导入sequencefile、 rcfile、orcfile表中。
Hive常见的存储格式文件比较
热门推荐
happy19870612's blog
11-20 1万+
一 列式存储和行式存储 首先我们看一下一张表的存储格式 1.1 行式存储 1.2 列式存储 1.3列式存储和行式存储的比较 行式存储 优点： #相关的数据是保存在一起，比较符合面向对象的思维，因为一行数据就是一条记录 #这种存储格式比较方便进行INSERT/UPDATE操作 缺点： #如果查询只涉及某几个列，它会把整行数据都读取出来，不能跳过不必
HIVE存储格式
u011163372的博客
10-26 396
TextFileHive数据表的默认格式，存储方式：行存储。 可使用Gzip,Bzip2等压缩算法压缩,压缩后的文件不支持split 但在反序列化过程中，必须逐个字符判断是不是分隔符和行结束符，因此反序列化开销会比SequenceFile高几十倍。 复制代码 –创建数据表： create table if not exists textfile_table( site string,
Hive 存储格式
Yrz7746321的博客
08-05 1375
Hive 存储格式 说明 2019-05-14 00:266400转载Hive Hive 支持多种存储格式，本文我们将了解这些格式的概念。 1、文本文件格式 文件文件（TEXTFILE）格式是Hive中默认的存储格式，在创建Hive 表时如果不指定存储格式即为文本文件。文本文件中每一行数据就是一条记录，可以用任意的分隔符进行分割，也方便和其他的工具进行数据共享、查看和编辑，比如sed，awk等。但相对于二进制文件，文本文件存储的空间较大。 TEXTFILE的数据不做压缩，磁盘开销大，数据解析开销大。
《Hive数据仓库案例教程》教学大纲.pdf
04-04
《Hive数据仓库案例教程》教学大纲主要涵盖了Hive在大数据环境中的应用，以及如何通过Hive构建数据仓库。Hive作为一个基于Hadoop的数据仓库工具，它的主要功能是将结构化的数据文件映射为数据库表，并提供SQL-like...
《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf
06-22
《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第...
Hive数据仓库之垃圾分类数据分析系统
08-14
（2）hive数据仓库分层设计，包含ODS、DWD、ADS层 （3）sqoop数据迁移，完成HIve与MySQL数据库中的数据交互 （4）Echarts搭建动态可视化大屏 （5）SpringBoot搭建可视化后台系统，完成前端与后台的数据传递与交互。 ...
项目实战——钉钉报警校验ElasticSearch和Hive数据仓库内的数据质量（Java版本）
10-24
因为你不知道将Hive的数据导入到了ElasticSearch后，数据量是否准确，所以需要钉钉报警校验ElasticSearch和Hive数据仓库内的数据质量，注意，这个项目打包后，最好另起一个进程调用，并且开始时间为文章1或者2最大...
基于Hive数据仓库的物流大数据平台的研究与设计
01-27
针对物流企业数据仓库扩展性不好、运行自动化程度不高、处理大规模数据效果较差等问题。本文通过对Hive技术的物流数据仓库进行分析，...通过 Hive数据仓库运行效果进行分析，表明该系统能够很好地支持企业管理层决策。
hive的存储格式
Yz9876的博客
12-12 1623
hive 高版本的不支持索引了，所以使用 datagrip 的时候，hive.log 中会出现大量的错误。查询性能高，写操作慢，所需内存大，计算量大。此格式为行列混合存储，hive在该格式下，会尽量将附近的行和列的块存储到一起。HQL语句最终会被编译成Hadoop的Mapreduce job,因此hive的压缩设置，实际上就是对底层MR在处理数据时的压缩设置。每一种文件文件格式有一定的压缩比例，但是不是真正的压缩，而是文件格式带来的。hive的压缩使用的是工具压缩，跟存储格式自带压缩不是一回事儿。
hive 的存储格式
星空下的那个人影
06-18 3053
hive的存储格式
Hive中的存储格式
03-13 2801
1 概述 官方链接 上一篇博客我们详细的介绍了压缩的使用，本文将详细介绍Hive中的存储格式，下面列出官方给出的存储格式： [STORED AS file_format] file_format: : SEQUENCEFILE | TEXTFILE -- (Default, depending on hive.default.fileformat configuration...
Hive 存储文件格式
leveretz的博客
06-22 560
原文地址：https://blog.youkuaiyun.com/yangshaojun1992/article/details/85124287 hive文件存储格式包括以下几类： 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE(0.11以后出现) 5、PARQUET 其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；SEQUENCEFILE，RCFILE，ORCFILE,PARQUET格式的表不能
Hive之文件格式
ly13607255628的博客
10-10 1234
Hive支持的存储数的格式主要有：TEXTFILE（默认格式） 、SEQUENCEFILE、RCFILE、ORCFILE、PARQUET。 textfile为默认格式，建表时没有指定文件格式，则使用TEXTFILE，导入数据时会直接把数据文件拷贝到hdfs上不进行处理； sequencefile，rcfile，orcfile格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中， 然后再从表中用insert导入sequencefile、rcfile、orcfile表中。 行存储与列
Hive之Hive文件存储格式
weixin_45666566的博客
01-09 385
文件存储格式引言1、TextFile2、sequencefile3、orc4、 parquet 引言 \quad \quadHive支持的存储数的格式主要有：TextFile、SEQUENCEFILE、ORC、PARQUET。其中，TEXTFILE、SEQUENCEFILE是基于行存储，ORC、PARQUET基于列存储。 行存储和列存储 上图中左边为逻辑表，右上为行存储，右下为列存储。 行存储特点：查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到
Hive数据仓库
最新发布
04-28
### Hive 数据仓库使用指南 #### 1. 数据存储结构 Hive 的数据存储遵循特定的目录层次结构，用于管理数据库、表以及实际的数据文件。默认情况下，Hive 将所有的数据存放在 HDFS 中的一个指定位置 `/user/hive/warehouse` 下[^1]。 - **数据库目录**: 默认数据库 `default` 对应于路径 `/user/hive/warehouse`。 - **表目录**: 每张表会在其所属数据库下创建对应的子目录。例如，如果有一个名为 `test.db` 的数据库和一张名为 `row_table` 的表，则该表的实际存储路径为 `/user/hive/warehouse/test.db/row_table`。 - **数据文件**: 表中的具体数据会以文件形式存储在对应表目录中。例如，`hive_test.txt` 是某张表的具体数据文件。 #### 2. 常见操作命令 以下是几个常见的 Hive SQL 操作及其用途： ##### 创建数据库 通过以下语句可以创建一个新的数据库，并将其存储路径设置到自定义位置： ```sql CREATE DATABASE IF NOT EXISTS test_db LOCATION '/path/to/custom/location'; ``` ##### 查看当前数据库 查看当前使用的数据库可以通过如下命令实现： ```sql SELECT current_database(); ``` ##### 切换数据库 切换至目标数据库的操作如下所示： ```sql USE test_db; ``` ##### 创建外部表 当需要加载已经存在的数据文件时，通常会选择创建外部表的方式： ```sql CREATE EXTERNAL TABLE row_table (id INT, name STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LOCATION '/user/hive/warehouse/test.db/row_table/'; ``` #### 3. 性能优化与常见问题处理 在大数据场景下，性能问题是不可避免的话题之一。特别是在涉及 Shuffle 操作时，容易引发数据倾斜现象。下面列举了一些典型情况及应对策略。 ##### 数据倾斜原因分析 Shuffle 过程可能导致某些分区接收到远超其他分区数量级的数据量，从而拖慢整体执行速度甚至失败。触发 Shuffle 的常用算子包括但不限于 distinct、groupByKey、reduceByKey 等[^2]。 ##### 针对 Join 类型的数据倾斜解决方案 假设存在日志表 `log` 和用户信息表 `user`，其中部分记录因字段缺失而造成连接异常或者资源浪费的情况，可采用分步查询方式规避此类风险[^3]: ```sql -- 正常关联部分 select * from log a join user b on a.user_id is not null and a.user_id = b.user_id; -- 处理空值单独提取逻辑 union all select * from log c where c.user_id is null; ``` 以上方法能够有效减少不必要的计算开销并提升稳定性。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

_popo_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值