HIve---1.Hive 基础知识

Hive是由Facebook开发的数据仓库工具,基于Hadoop,提供类SQL查询功能。它降低了使用MapReduce进行大数据处理的复杂度,适合离线批量数据计算。Hive的特点包括可扩展性、自定义函数和良好容错性。与RDBMS相比,Hive更适合海量数据统计分析,不支持记录级别的增删改操作,延迟较高,不适用于交互查询。Hive架构包含用户接口、Thrift Server、元数据存储、Driver等组件,数据存储在HDFS上,元数据通常存储在MySQL等数据库中。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

目录

1、Hive 基本概念 

1.1、Hive 简介 

1.1.1、什么是 Hive 

1.1.2、为什么使用 Hive 

1.1.3、Hive 特点 

1.2、Hive 和 RDBMS 的对比 

1.3、Hive 架构 ​ 

1.4、Hive 的数据存储 


1、Hive 基本概念 

1.1、Hive 简介 

1.1.1、什么是 Hive 

Hive 由 Facebook 实现并开源,是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据 映射为一张数据库表,并提供 HQL(Hive SQL)查询功能,底层数据是存储在 HDFS 上。Hive 的本质是将 SQL 语句转换为 MapReduce 任务运行,使不熟悉 MapReduce 的用户很方便地利 用 HQL 处理和计算 HDFS 上的结构化的数据,适用于离线的批量数据计算

数据仓库之父比尔·恩门(Bill Inmon)在 1991 年出版的“Building the Data Warehouse”(《建 立数据仓库》)一书中所提出的定义被广泛接受——数据仓库(Data Warehouse)是一个面 向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史 变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support)。 

Hive 依赖于 HDFS 存储数据,Hive 将 HQL 转换成 MapReduce 执行 所以说 Hive 是基于 Hadoop 的一个数据仓库工具,实质就是一款基于 HDFS 的 MapReduce 计算框架,对存储在 HDFS 中的数据进行分析和管理 
 

1.1.2、为什么使用 Hive 

直接使用 MapReduce 所面临的问题:  

人员学习成本太高

 项目周期要求太短  

MapReduce 实现复杂查询逻辑开发难度太大 

为什么要使用 Hive: 

更友好的接口:操作接口采用类 SQL 的语法,提供快速开发的能力  

更低的学习成本:避免了写 MapReduce,减少开发人员的学习成本

 更好的扩展性:可自由扩展集群规模而无需重启服务,还支持用户自定义函数 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值