hive3.1.2的简介,基本语法以及hive的安装

最新推荐文章于 2024-06-03 22:07:33 发布
最新推荐文章于 2024-06-03 22:07:33 发布
阅读量1.5k 收藏 5
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Fresh_man888/article/details/109034778
本文介绍了Hive数据仓库的基本概念，包括其作为基于Hadoop的数据仓库工具的特点与用途，以及安装配置过程。Hive提供了类似SQL的查询语言，简化了大数据处理流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

0.hive简介:

hive是基于Hadoop的一个数据仓库工具,并不是一个数据库，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive是十分适合数据仓库的统计分析和Windows注册表文件。 

hive 构建在基于静态批处理的Hadoop 之上，Hadoop 通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此，hive 并不能够在大规模数据集上实现低延迟快速的查询，例如，hive 在几百MB 的数据集上执行查询一般有分钟级的时间延迟。 

因此，hive 并不适合那些需要高实性的应用，例如，联机事务处理（OLTP）。hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，hive 将用户的hiveQL 语句通过解释器转换为MapReduce 作业提交到Hadoop 集群上，Hadoop 监控作业执行过程，然后返回作业执行结果给用户。hive 并非为联机事务处理而设计，hive 并不提供实时的查询和基于行级的数据更新操作。hive 的最佳使用场合是大数据集的批处理作业，例如，网络日志分析。 

1.特点

 优点

  1. 操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。
  2. 避免了去写MapReduce，减少开发人员的学习成本。
  3. Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。(历史数据)
  4. Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。
  5. Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。

   缺点

1．Hive的HQL表达能力有限

（1）迭代式算法无法表达    递归算法

（2）数据挖掘方面不擅长(数据挖掘和算法 机器学习 硕士以上)

2．Hive的效率比较低

（1）Hive自动生成的MapReduce作业，通常情况下不够智能化

（2）Hive调优比较困难，粒度较粗(快)

应用场景

 对时效性要求不高的数据分析 , 报表分析等

2. Hive架构原理

(mysql记录元数据: hive表的数据映射 , 表结构 )

 

 Hive架构原理

1．用户接口：Client

CLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive）

2．元数据：Metastore

元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；

默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore

3．Hadoop

使用HDFS进行存储，yarn资源调度 ,使用MapReduce进行计算。

4．驱动器：Driver

（1）解析器（SQL Parser）：将SQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。

（2）编译器（Physical Plan）：将AST编译生成逻辑执行计划。

（3）优化器（Query Optimizer）：对逻辑执行计划进行优化。

（4）执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于Hive来说，就是MR/Spark。

 

Hive通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据(MetaStore)，将这些指令翻译成MapReduce，提交到Hadoop中执行，最后，将执行返回的结果输出到用户交互接口。

3.hive的安装

1 hive的安装有两种方法:1.上传压缩包,解压 2 通过cdh的方法

2 将mysql中的密码和长度设置简单

set global validate_password_policy=LOW;
set global validate_password_length=6;

3 虚拟机中安装了mysql需要开启mysql的远程连接

mysql > grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;
mysql > flush privileges;

4 上传hive3.1.2的压缩包到指定的目录:/opt/apps/hive-3.1.2

5 修改配置文件:

5.1先修改hive-env.sh.template 并且改名为:hive-env.sh

# Set HADOOP_HOME to point to a specific hadoop install directory
export  HADOOP_HOME=/opt/apps/hadoop-3.1.1

# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/opt/apps/hive-3.1.2/conf

5.2 在配置目录下添加一个hive-site.xml文件,并且添加一下配置信息

<configuration>
<!-- 记录HIve中的元数据信息  记录在mysql中 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://linux01:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
<!-- hive在hdfs中存储的数据路径 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>

<property>
<name>hive.exec.scratchdir</name>
<value>/user/hive/tmp</value>
</property>
<property>
<name>hive.querylog.location</name>
<value>/user/hive/log</value>
</property>
<!-- shell客户端连接的端口 -->
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
<property>
<name>hive.server2.thrift.bind.host</name>
<value>0.0.0.0</value>
</property>
<property>
<name>hive.server2.webui.host</name>
<value>0.0.0.0</value>
</property>
<!-- hive服务的页面的端口 -->
<property>
<name>hive.server2.webui.port</name>
<value>10002</value>
</property>
<property>
<name>hive.server2.long.polling.timeout</name>
<value>5000</value>
</property>
<property>
<name>hive.server2.enable.doAs</name>
<value>true</value>
</property>
<property>
<name>datanucleus.autoCreateSchema </name>
<value>false</value>
</property>
<property>
<name>datanucleus.fixedDatastore </name>
<value>true</value>
</property>

<property>
<name>hive.execution.engine</name>
<value>mr</value>
</property>

<property>
<name>hive.zookeeper.quorum</name>
<value>doit01,doit02,doit03</value>
</property>
</configuration>

5.3 开放hive在hdfs中的操作权限,在 vi  /opt/apps/hadoop-3.1.1/etc/hadoop/core.site.xml添加一下配置信息

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://linux01:8020</value>
  </property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>

<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>

<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>

5.4 上传mysql的jdbc驱动包到hive_home的家目录下的lib目录:

mysql-connector-java-5.1.49.jar

5.5 重启hadoop进程

5.6 初始化hive的元数据信息初始化到mysql中

[root@linux01 bin]# schematool -initSchema -dbType mysql

5.7 配置hive的环境变量

/etc/profile

6 启动客户端的两种方式:

6.1 在linux中的任意目录下启动hive客户端:hive

6.2 远程连接启动:

在hive的bin目录下启动:hiveserver2 &   ,这条命令属于后台启动,启动的是hive的后台服务进程

在后台服务启动之后,在bin目录下执行beeline

[root@lx01 bin]# beeline

SLF4J: Class path contains multiple SLF4J bindings.

SLF4J: Found binding in [jar:file:/opt/apps/hive-2.3.1/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: Found binding in [jar:file:/opt/apps/hadoop-2.8.5/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.

SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

Beeline version 2.3.1 by Apache Hive

beeline> !connect jdbc:hive2://lx01:10000

Connecting to jdbc:hive2://lx01:10000

Enter username for jdbc:hive2://lx01:10000: root

Enter password for jdbc:hive2://lx01:10000: 回车

Connected to: Apache Hive (version 2.3.1)

Driver: Hive JDBC (version 2.3.1)

Transaction isolation: TRANSACTION_REPEATABLE_READ

0: jdbc:hive2://lx01:10000>

7 加载数据的两种方法:

7.1 第一种是在创建表的时候指定路径下的文件:如:location  +具体文件的绝对路径

7.2 第二种是将数据上传到hdfs中表的目录下如:hdfs dfs -put+ 本地文件 +hdfs中表的目录

8 内部表和外部表

8.1 什么是外部表:

[外部表 external table]共享数据  数据可能会被多个表使用 , 一个表删除 , 不能影响其他表访问数据 , 数据文件在表删除的情况下

不会被删除;

创建外部表的语法:

create external table if not exists tb_model(
uid int,
name string
)
row format delimited fields terminated by ","
location "/data/model";

8.2 什么是内部表:

[manage table 管理表]和表对应的业务数据 , 业务不要了 , 表删除 同时表目录下的 也会随着一起数据删除

内部表的创建语法,不被external修饰的就是内部表;

 

SAS对数据缺失值的插补方法
weixin_42108215的博客
05-20 1万+
/**读入数据，生成SAS数据集work.Air**/ data Air; infile 'E:\data\ch3_air.csv' delimiter=',' firstobs=2; informat Ozone best32.; informat SolarR best32.; informat Temp best32.; informat Wind best32.; ...
openpyxl 绘制饼形图_openpyxl3.0官方文档（13）—— 饼图
weixin_39638012的博客
12-20 626
饼图¶饼图将数据绘制为圆的切片，每个切片表示整个圆的百分比。切片按顺时针方向绘制，0°位于圆的顶部。饼图只接受一系列数值，标题将默认为系列的标题。1 from openpyxl import Workbook23 from openpyxl.chart import (4 PieChart,5 ProjectedPieChart,6 Refer...
数据挖掘模型的两种特征
dinongxu8804的博客
11-23 164
[静态特征]模型的表示形式：它总是以某种计算机程序形式表示的，如数据、语句、子程序，甚至于对象等。这种物理形式在模型库中具体为：模型名称及相关的计算机程序，模型功能的分类，模型的输入输出数据，控制参数等属性。它可以以类似于数据的形式表示出来。  [动态特征]模型的动态形式：它可以以某种方法运行，进行输入、输出、计算等处理。这种形式的属性是很难以类似于数据组织的形式来描述的。 ...
python处理excel的优势-Python最详细的Excel操作方式，你值得拥有！
q6q6q的专栏
10-28 1907
为什么要学会使用Excel在机器学习模型的建立中,不得不借助于Excel强大的统计分析能力,这个时候就牵涉到了如何将python直接处理得到的数据存入excel表格当中以及获取表格的数据进行分析，简单的说，学会使用Python操作Excel文件后，可以运用到机器学习之中，也可以让平常生活中繁琐的工作自动化处理。Excel的基本使用Python处理Excel的包是openpyxl，如果你是直接下载的...
使用Apache Ignite优化Spark作业性能（第1部分）
最佳 Java 编程
06-07 335
快来看看他们是如何工作的！ 本文的某些部分摘自我的书《 Apache Ignite的高性能内存计算》 。 如果您对这篇文章感兴趣，请查看本书的其余部分，以获取更多有用的信息。 Apache Ignite提供了几种提高Spark作业性能的方法：Ignite RDD（将Ignite缓存表示为Spark RDD抽象）和Ignite IGFS（可透明地插入Spark部署中的内存文件系统）。 Ig...
Hive3.1.2概述与搭建
最新发布
m0_58050808的博客
06-03 1467
Hive3.1.2概述与搭建
apache-hive-3.1.2-bin.tar.gz
06-24
Apache Hive 是一个基于Hadoop的数据仓库工具，它允许用户通过SQL-like语法查询、管理大量结构化数据。在大数据处理领域，Hive 提供了一个灵活、可扩展的框架，使得数据分析人员能够对存储在Hadoop分布式文件系统...
安装篇-MySQL8+Hive3.1.2安装分享
爱程序，爱生活
08-28 1295
1.安装mysql8 1.1 下载并解压mysql8的rpm安装包 mysql-8.0.21-1.el7.x86_64.rpm-bundle.tar 1.2 依次安装以下四个rpm包 rpm -ivh mysql-community-common-8.0.21-1.el7.x86_64.rpm rpm -ivh mysql-community-libs-8.0.21-1.el7.x86_64.rpm rpm -ivh mysql-community-client-8.0.21-1.el7.x86_64
麒麟操作系统-04-Hive3.1.2安装与部署
Jason1511的博客
06-02 512
Hive 3.1.2相对于之前的版本，在查询性能、事务能力、SQL标准支持等方面均有不小的改进和优化，是一个更加稳定、高效的版本。HADOOP_HOME替换为自己hadoop的安装目录，$HIVE_HOME替换为自己的hive安装目录，没有配置环境变量的话，不要直接复制粘贴。使用远程工具连接hive，先开启metastore，再开启hiveserver2，才能使用工具连接hive！替换过来，删除自带的低版本。
Excel 方格子插件、DIY工具箱
01-20
Excel 方格子插件、DIY工具箱，真正的硬货，使用起来特别的方便。
数据挖掘技术具有哪些特点？
data2006的博客
07-02 2399
数据挖掘源自《从数据库中发现知识》（缩写为KDD）。它首次出现在1989年8月在底特律举行的第十一届国际联合人工智能会议上。为了统一理解，Fayyad，Piatetsky-Shapiro和Smyth在权威文章集《知识发现与数据进展》中给出了KDD和数据挖掘的最新定义。从中总结了1996年该领域的进展，并予以区分： KDD的定义是：KDD是从数据中识别有效，新颖，潜在有用且最终可以理解的模式的过程。 数据挖掘的定义是：数据挖掘是KDD中的一步，它使用特定算法在可接受的计算效率限制内生成特定模式。 数据挖
openpyxl3.0官方文档（13）—— 饼图
Sinchard的专栏
07-02 1715
饼图¶ 饼图将数据绘制为圆的切片，每个切片表示整个圆的百分比。切片按顺时针方向绘制，0°位于圆的顶部。饼图只接受一系列数值，标题将默认为系列的标题。 from openpyxl import Workbook from openpyxl.chart import ( PieChart, ProjectedPieChart, Reference ) from openpyxl.chart.series import Da
excel怎么添加diy工具箱_一秒生成工资条，你知道怎么做嘛？（一）
weixin_30666407的博客
12-03 3177
之前小 E 有给大家介绍过工资条的做法，主要是通过 Excel 排序法做出来的。当然，工资条的做法不止这个！我们还会遇到多行表头的标题，或者是存在合并单元格的表头！这时 PQ 或者排序的方法就有点局限了~所以呢，为了解决这个问题，本文将会介绍 2 个插件，教你如何1 秒生成工资条！遇到各种类型的工资条都不用头疼啦~方方格子适用版本：Office 2007 至 2019 各版本。主要分为免费工具箱和...
excel diy工具箱_Excel黑科技插件，菜鸟也能用好
weixin_39781550的博客
11-25 1352
大家好，我是抽柚。作为一个运营人，每天都不得不和数据打交道，这也决定了我每天都要打开万恶的Excel。可偏偏老天不开眼，我的Excel水平不太拿得出手。去年公司为了提高我的Excel水平，让我上了半个月的培训，在我的努力之下，我毫无悬念的拿了优秀学员，让Excel水平在短时间内，有了大幅度的提升。紧接着我又在短时间内，把大多数的知识还给了老师。当我发现了正道不好走的时候，我果断决定寻找野路子，最后...
openpyxl 绘制饼形图_5.5 图表绘制 : 作图模板的练习 ：Pie图|饼图
weixin_42144707的博客
02-19 335
# -*- coding:utf-8 -*-import numpy as npimport pandas as pdfrom itertools import cyclefrom IPython.display import Imageimport matplotlib.pyplot as pltimport matplotlib as mplimport matplotlib.font_man...
Android数据持久化有哪些形式你知道吗？
乂星人
03-09 2933
Android数据持久化的形式最常用的有以下五种： 使用SharedPreferences存储数据 文件存储数据 SQLite数据库存储数据 使用ContentProvider存储数据 网络存储数据 SharedPreferences SharedPreferences是Android系统提供的一种轻量级的数据存取方式，数据存取是通过键值对的形式，存放到xml中。xml文件的存放路径为：/data/data/packageName/shared_prefs/目录。 核心原理 SharedPrefere
使用将工作表数据转换为饼状图
缘 源 园
02-10 920
from openpyxl import Workbook from openpyxl.chart import ( PieChart,#饼状图 Reference ) #1.组织数据 data = [ ['Pie', 'Sold'], ['Apple', 50], ['Cherry', 30], ['Pumpkin', 10], ['Chocolate', 40], ] #2.创建工作簿和工作表 wb = Workbook() ws = wb.a.
excel怎么添加diy工具箱_这些Excel插件让你的Excel更好用！
weixin_39928801的博客
12-12 8530
Excel基本功不扎实临时学习也没时间这时候比起各种操作技巧Excel插件更实际更能切实提高你的效率 今天就给大家推荐几款插件！方方格子说起Excel插件，就不能不提到它。方方格子支持Excel2007到2016各版本，而且对于WPS版本，也有专门的工具箱。它包含了上百个实用功能。一般我们会用到的表格批量合并拆分、文本处理、批量录入、合并转换、重复值、数据对比、排序等很多功能都具备。有了这个插件，...
Apache Hive 3.1.2版本发布介绍
3. 数据类型：Hive支持多种数据类型，包括基本数据类型（如int、float、boolean、string等）、复杂数据类型（如数组、map、struct等）和可扩展数据类型（用户可以自定义新的数据类型）。 4. 数据模型：Hive中的数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值