HIVE基本介绍

最新推荐文章于 2025-06-01 20:57:16 发布
转载 最新推荐文章于 2025-06-01 20:57:16 发布 · 440 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://blog.youkuaiyun.com/xiaoweite1/article/details/117757325

1、什么是Hive
Hive是一个构建在Hadoop上的数据仓库框架。最初，Hive是由Facebook开发，后来移交由Apache软件基金会开发，并作为一个Apache开源项目。

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更进一步可以说hive就是一个MapReduce的客户端。

2、为什么使用Hive
直接使用hadoop所面临的问题
人员学习成本太高
项目周期要求太短
MapReduce实现复杂查询逻辑开发难度太大
为什么要使用Hive
操作接口采用类SQL语法，提供快速开发的能力
避免了去写MapReduce，减少开发人员的学习成本
功能扩展很方便​​​​​​​
​​​​​​​3、Hive的特点
Hive最大的特点是通过类SQL来分析大数据，而避免了写MapReduce程序来分析数据，这样使得分析数据更容易。
数据是存储在HDFS上的，Hive本身并不提供数据的存储功能，它可以使已经存储的数据结构化。
Hive是将数据映射成数据库和一张张的表，库和表的元数据信息一般存在关系型数据库上（比如MySQL）。
数据存储方面：它能够存储很大的数据集，可以直接访问存储在Apache HDFS或其他数据存储系统（如Apache HBase）中的文件。
数据处理方面：因为Hive语句最终会生成MapReduce任务去计算，所以不适用于实时计算的场景，它适用于离线分析。
Hive除了支持MapReduce计算引擎，还支持Spark和Tez这两种分布式计算引擎；
数据的存储格式有多种，比如数据源是二进制格式，普通文本格式等等；
 

dsdyy
关注
辉哥带你学hive第一讲 hive基本介绍以及环境搭建
u010160949的博客
05-11 742
hive基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表。Hive是一个Hadoop客户端，用于将HQL（Hive SQL）转化成MapReduce程序。其中Hive中每张表的数据存储在HDFS，Hive分析数据底层的实现是MapReduce（也可配置为Spark或者Tez）并且执行程序运行在yarn上。
Hive>Hive基本介绍 和 Hive的数据存储
qq_44509920的博客
11-21 805
文章目录Hive基本概念为什么使用HiveHive的意义是什么Hive可以对数据进行存储与计算Hive的特点Hive架构Hive与Hadoop的关系Hive与传统数据库对比Hive的数据存储 Hive基本概念 Hive是一个基于hadoop的数据仓库工具，可以将结构化数据映射成一张数据表，并提供类SQL的查询功能。 其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据...
Hive
joob000的博客
01-11 773
一、CentOS 6.8中安装mysql https://blog.youkuaiyun.com/joob000/article/details/85699213. 二、Hive环境安装 Hive安装 1、到下载地址http://apache.fayea.com/hive/，下载apache-hive-1.2.1-bin.tar.gz，解压 tar -xzvf apache-hive-1.2.1-...
hive基本介绍和基础
paparuazi的博客
08-26 353
（一）Hive简介 1、Hive基本概念 Hive基于hadoop的一个数据仓库工具： hive本身不提供数据存储功能，使用HDFS做数据存储； hive也是分布式计算框架，hive的核心工作就是把SQL语句翻译成MR程序； hive不提供资源调度，也是默认由Hadoop当中yarn集群来调度； 可以将结构的数据映射为一张数据库表，并提供HQL（Hive SQL)查询功能。 （二）数据仓库与数据库的区别 数据库只存在当前值（近几年），数据仓库存放历史值（5-10年都可以）； 数据库内数据是动态变化的，只.
Hive 入门学习
最新发布
weixin_44361163的博客
06-01 1012
Apache Hive是一款分布式SQL计算的工具，其主要功能是：将SQL语句翻译成MapReduce程序运行，处理位于HDFS上的结构化数据。基于MapReduce构建分布式SOL执行引擎，主要需要两个功能组件：元数据管理和SQL解析器。元数据管理：记录数据存储位置，数据结构以及数据描述等。SQL解析器：其功能包括SQL分析，SQL到MapReduce程序的转换，提交MapReduce程序运行并收集执行结果。
Hive的基本介绍
Leon_Jinhai_Sun的博客
02-29 179
Hive 简介 什么是 Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更进一步可以说hive就是一个MapReduce的客户端 为什么使用 Hi...
Hive基本介绍(1)
weixin_45492179的博客
08-12 2661
Hive基本介绍1Hive基本概念Hive的意义是什么Hive可以对数据进行存储与计算Hive缺点Hive的内部组成架构 Hive基本概念 是一个基于hadoop的数据仓库工具，可以将结构化数据映射成一张数据表，并提供类SQL的查询功能。 Hive的意义是什么 背景：hadoop是个好东西，但是学习难度大，成本高，坡度陡。 意义（目的）：降低程序员使用hadoop的难度。降低学习成本。 Hive可以对数据进行存储与计算 存储使用HDFS存储 计算使用MapReduce进行计算 Hive的特性 1、扩展
Hive详细概述
啊帅和和的博客
10-01 2477
目录为什么要用Hive什么是HiveHive的概念架构Hive的搭建Hive的简单实用 为什么要用Hive 什么是Hive Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL ，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和
Hive基本介绍
PassionZheng的博客
05-28 830
什么是Hive Hive是由Facebook开源，用于解决海量结构化日志的数据统计工具。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 其本质是：将SQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上 Hive的优缺点 1.优点 1)操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。 2)避免了去写MapReduce，减少开发
大数据----Hive学习（1）----Hive基本介绍
weixin_46002001的博客
03-23 2385
Hive基本概念 Hive相当于是Hadoop的一个客户端，通过提交SQL，让Hive去解析封装成MapReduce任务，去HDFS读数据，去Yarn执行。 1.Hive简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 Hive用于解决海量结构化日志的数据统计工具。 2.Hive本质 将HQL转化为MapReduce程序 （1）Hive处理的数据存储在HDFS上 （2）Hive分析数据底层的实现是MapReduce （3）执行程序运行在Yar
Hive基本介绍（一）
刘金超DT的博客
09-05 550
一、什么是Hive Hive 是一种底层封装了Hadoop 的数据仓库处理工具，本质是将SQL语句通过解释器转换为MapReduce作业提交到Hadoop集群上进行计算，将结构化的数据映射为一张数据库表，并提供HQL(Hive SQL)查询功能，不用编写具体的MapReduce方法。所有Hive 的数据都存储在Hadoop 兼容的文件系统（如HDFS）中。Hive 在加载数据过程中不会对数据进行任...
Hive介绍
qq_41934990的博客
08-21 335
简介：       The Apache Hive data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data already in ...
Hive数据仓库与企业级优化
jingluodashen的博客
06-04 467
一 数据仓库1 什么是数据仓库数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。2 数据仓库能干什么？1）年度销售目标的指定，需要根据以往的历史报表进行决策，不能拍脑袋。2）如何优化业务流程例...
Spark入门实战系列--5.Hive（上）--Hive介绍及部署
yyy
09-09 1193
1、Hive介绍 1.1 Hive介绍 Hive是一个基于Hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。它是Facebook 2008年8月开源的一个数据仓库框架，提供了类似于SQL语法的HQL语句作为数据访问接口，Hive有如下优缺点： l  优点： 1.Hive 使用类SQL 查询语法, 最大限度的实现了和SQL标准的兼容，大大降低了传统数据分析人员学习的曲线； 2.
hive基本ddl
04-03
### Hive基本DDL语句概述 Hive的数据定义语言（Data Definition Language, DDL）用于管理数据库对象，如表、视图和索引等。以下是关于创建、修改和删除表的基本语法示例。 --- #### 创建表 在Hive中可以通过`CREATE TABLE`语句来创建新表。可以指定列名及其数据类型，并可以选择是否为外部表或其他存储选项。 ```sql -- 创建内部表 CREATE TABLE IF NOT EXISTS stu ( id INT, name STRING ); -- 创建外部表 CREATE EXTERNAL TABLE IF NOT EXISTS emp ( employee_id INT, department STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION '/path/to/external/data'; ``` 上述代码展示了如何创建一个简单的内部表以及带有特定存储位置的外部表[^3]。 --- #### 修改表 使用`ALTER TABLE`语句可更改现有表的名称、添加或删除列以及其他属性调整。 - **重命名表** ```sql ALTER TABLE old_table_name RENAME TO new_table_name; ``` 此命令允许将现有的表更改为新的名字[^1]。 - **增加列** 如果需要扩展表结构，则可通过如下方式新增字段： ```sql ALTER TABLE table_name ADD COLUMNS (new_column_name column_type); ``` 例如，在已有学生信息基础上加入年龄一栏： ```sql ALTER TABLE stu ADD COLUMNS (age INT); ``` - **替换整个Schema** 当希望完全更新某张表格的所有列定义时可用下面方法替代原有schema： ```sql ALTER TABLE table_name REPLACE COLUMNS (...columns definitions...); ``` 这些功能均属于常见alter操作的一部分[^2]。 --- #### 删除表 若不再需要某个表或者想清理资源，可以执行drop动作： ```sql DROP TABLE [IF EXISTS] table_name; ``` 该指令会彻底移除目标关系型实体连同其元数据记录一起销毁[^4]。 注意区分普通Drop与级联模式下的行为差异——后者还会牵涉到关联依赖项处理逻辑。 --- ### 总结说明 以上分别介绍了有关于建立、修订及废弃hive环境里各类table实例的具体实现办法。每一步骤都紧密围绕着实际应用场景展开讨论并辅以相应示范片段予以佐证。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值