5.1Hive安装部署

最新推荐文章于 2024-05-25 16:17:34 发布
原创 最新推荐文章于 2024-05-25 16:17:34 发布 · 326 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文档详细介绍了在Linux Ubuntu 16.04环境下安装部署Hive的过程，包括Hive的特性、工作原理，以及如何配置Hive与MySQL的连接，确保Hive能够利用Hadoop进行数据处理。

Hive安装部署

字体：

实验目的

1.了解Hive的安装部署

2.了解Hive的工作原理

实验原理

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Hive构建在基于静态批处理的Hadoop之上，由于Hadoop通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此，Hive并不适合那些需要低延迟的应用，它最适合应用在基于大量不可变数据的批处理作业，例如，网络日志分析。

Hive的特点是：可伸缩（在Hadoop集群上动态的添加设备）、可扩展、容错、输出格式的松散耦合。

Hive将元数据存储在关系型数据库（RDBMS）中，比如MySQL、Derby中。

Hive有三种模式连接到数据，其方式是：单用户模式，多用户模式和远程服务模式。（也就是内嵌模式、本地模式、远程模式）。

 

实验环境

Linux Ubuntu 16.04

jdk-1.8.0_151-linux-x64

hadoop-2.6.5

hive-1.2.2

mysql

mysql-connector-java-5.1.45-bin.jar

实验内容

在已安装好的Hadoop环境基础上，安装并配置Hive。

实验步骤

1.首先在Linux本地，新建/data/hive1目录，用于存放所需文件。

1. sudo mkdir -p /usr/data/hive1  

切换目录到/usr/data/hive1下，下载hive所需安装包apache-hive-1.2.2-bin.tar.gz(下载地址：http://www.apache.org/dyn/closer.cgi/hive/）以及mysql-connector-java-5.1.45-bin.tar.gz(下载地址：https://dev.mysql.com/downloads/connector/j/）到该目录下，所有文件在第五次课文件目录下均有。

1. cd /usr/data/hive1  

2.将/usr/data/hive1目录下的apache-hive-1.2.2-bin.tar.gz，解压缩到/usr/apps目录下。

1. sudo tar -zxvf apache-hive-1.2.2-bin.tar.gz -C /usr/apps/  

再切换到/usr/apps目录下，将该目录下apache-hive-1.2.2-bin，重命名为hive。

1. cd /usr/apps  

2. sudo mv apache-hive-1.2.2-bin/ hive  

3.使用gedit(或vi/vim)打开用户环境变量。

1. sudo gedit /etc/profile  

将Hive的bin目录，添加到用户环境变量PATH中，然后保存退出。

1. #hive config  

2. export HIVE_HOME=/usr/apps/hive  

3. export PATH=$HIVE_HOME/bin:$PATH  

执行source命令，使Hive环境变量生效。

1. source etc/profile  

4.由于Hive需要将元数据，存储到Mysql中。所以需将/usr/data/hive1目录下的mysql-connector-java-5.1.45-bin.tar.gz解压缩，然后将里面的mysql-connector-java-5.1.45-bin.jar拷贝到hive的lib目录下。

1. sudo tar –zxvf /usr/data/hive1/mysql-connector-java-5.1.45-bin.tar.gz

2. sudo cp /usr/data/hive1/mysql-connector-java-5.1.45/ mysql-connector-java-5.1.45-bin.jar /usr/apps/hive/lib/ 

5.下面配置Hive，切换到/apps/hive/conf目录下，并创建Hive的配置文件hive-site.xml。

1. cd /usr/apps/hive/conf  

2. touch hive-site.xml  

使用gedit(或vi/vim)打开hive-site.xml文件。

1. sudo gedit hive-site.xml  

并将下列配置项，添加到hive-site.xml文件中。

1. <configuration>  

2.     <property>  

3.         <name>javax.jdo.option.ConnectionURL</name>  

4.         <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExsit=true;characterEncoding=latin1</value>  

5.     </property>  

6.     <property>  

7.         <name>javax.jdo.option.ConnectionDriverName</name>  

8.         <value>com.mysql.jdbc.Driver</value>  

9.     </property>  

10.     <property>  

11.         <name>javax.jdo.option.ConnectionUserName</name>  

12.         <value>root</value>  

13.     </property>  

14.     <property>  

15.         <name>javax.jdo.option.ConnectionPassword</name>  

16.         <value>strongs</value>  

17.     </property>  

18. </configuration>  

由于Hive的元数据会存储在Mysql数据库中，所以需要在Hive的配置文件中，指定mysql的相关信息。

javax.jdo.option.ConnectionURL：数据库链接字符串。

javax.jdo.option.ConnectionDriverName：连接数据库的驱动包。

javax.jdo.option.ConnectionUserName：数据库用户名。

javax.jdo.option.ConnectionPassword：连接数据库的密码。

此处的数据库的用户名及密码，需要设置为自身系统的数据库用户名及密码。

6.另外，还需要告诉Hive，Hadoop的环境配置。所以我们需要修改hive-env.sh文件。

首先我们将hive-env.sh.template重命名为hive-env.sh。

1. sudo mv /usr/apps/hive/conf/hive-env.sh.template  /usr/apps/hive/conf/hive-env.sh  

使用gedit(或vi/vim)打开hive-env.sh文件。

1. sudo gedit hive-env.sh  

追加Hadoop的路径，以及Hive配置文件的路径到文件中。

1. # Set HADOOP_HOME to point to a specific hadoop install directory  

2. # HADOOP_HOME=${bin}/../../hadoop  

3. HADOOP_HOME=/usr/apps/hadoop  

4. # Hive Configuration Directory can be controlled by:  

5. # export HIVE_CONF_DIR=  

6. export HIVE_CONF_DIR=/usr/apps/hive/conf  

7.下一步是配置Mysql，用于存储Hive的元数据。

首先，需要保证Mysql已经启动。执行以下命令，查看Mysql的运行状态。

1. sudo service mysql status  

 

通过输出，可以看出Mysql未启动。所以需要执行启动命令。

1. sudo service mysql start  

如果未安装Mysql则需要执行安装命令。若我们的环境已安装Mysql，则无需执行此步。

1. sudo apt-get install mysql-server  

8.开启Mysql数据库。

1. mysql -u root -p  

此时会提示输入密码，此处密码为strongs

创建名为hive的数据库，编码格式为latin1，用于存储元数据。

1. create database hive CHARACTER SET latin1;  

 

查看数据库是否创建成功。

1. show databases;  

 

下面，输入exit退出Mysql。

1. exit  

9.执行测试。由于Hive对数据的处理，依赖MapReduce计算模型，所以需要保证Hadoop相关进程已经启动。

输入jps，查看进程状态。若Hadoop相关进程未启动，则需启动Hadoop。

1. /usr/apps/hadoop/sbin/start-all.sh  

启动Hadoop后，在终端命令行界面，直接输入hive便可启动Hive命令行模式。

1. hive  

输入HQL语句查询数据库，测试Hive是否可以正常使用。

1. show databases;  

 

至此Hive安装完毕。

 

Hive4.0.1集群安装部署（Hadoop版本为3.3.6）(详细教程)
weixin_45525313的博客
01-09 3633
hive本身没有直接关停服务的命令，可以通过端口进程的方式进行关闭。两个RunJar分别为metastore、hiveserver2的进程，可以通过“kill -9 进程号”进行关停。配置完metastore-site.xml，需要先初始化hive元数据库，选择在一台节点初始化即可。在hadoop安装目录下的core-site.xml中，需要开启hadoop代理用户配置。进入Hive的配置目录： cd /opt/apps/hive/conf/hive4.0已经弃用默认的Hive Cli。
Hive安装部署详解
lavimer
01-23 1940
一：Hive简介 Hive在Hadoop生态圈中属于数据仓库的角色。它能够管理Hadoop中的数据，同时可以查询Hadoop中的数据。从本质上讲，Hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce的job来运行。 Hive有一套映射工具，可以把SQL转换为MapReduce中的job,可以把SQL中的表、字段转换为HDFS中文件对应的列。这套映射工具称之为metas
72
wubaoyu123的博客
12-03 152
博客园Logo 首页 新闻 博问 专区 闪存 班级 代码改变世界 搜索 注册 登录 大数据学习与分享 博客园 首页 新随笔 联系 订阅 管理 随笔 - 41 文章 - 0 评论 - 9 Spark SQL解析查询parquet格式Hive表获取分区字段和查询条件 首先说一下，这里解决的问题应用场景： sparksql处理Hive表数据时，判断加载的是否是分区表，以及分区表的字段有哪些？再进一步限制查询分区表必须指定分区？ 这里涉及到两种情况：select SQL查询和加载Hive表路径的方式。这里仅就"
Hive简介及安装配置
XuXuemin的专栏
06-23 645
Hive的介绍及其安装和配置
hive
pursue330的博客
03-06 222
1、先在主节点上安装阿里云配置（看别的文档） 2、把需要的两个jar包加入进来（放到hadoop用户目录下面即可即/home/hadoop/） mysql-connector-java-5.1.47.tar.gz apache-hive-2.3.4-bin.tar.gz 3、解压压缩包（在hadoop用户主节点下运行） 下载地址 然后下载hive文件 http://mirror.bit.edu.c...
hive配置
我是泛滥
02-28 365
一、hive三种模式 local模式（内嵌derby） 单用户模式（mysql） 多用户模式 二、local模式 元数据信息被存储在Hive自带的Derby数据库中 只允许创建一个连接 多用于Demo(演示和第一次安装测试) hivelocal模式（Hadoop进程开启） 1.上传apache-hive-1.2.1-bin.tar.gz解压（就按我的目录作为例子） tar -zxvf ap...
Hive安装配置与使用
weixin_66254342的博客
07-07 979
Hive安装配置与使用
Apache Hive 安装与配置的详细教程
最新发布
majingbobo的博客
05-25 2197
Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。
Hive 安装部署及测试
逐波与逆流
05-22 5075
标签（空格分隔）： hive 1） Hive 如何配置与Hadoop 关联，进行创建表，加载数据测试 2） 在Linux下安装MySQL数据库 3） 配置Hive元数据存储在MySQL中，查看相关元数据表信息 4） 熟悉基本的DML和DDL语句（创建数据库、表及加载数据和基本查询语句Select）hadoop,spark,kafka交流群：224209501，相关文档及环境要求1.
Hive分布式安装部署（详细教程）Hive+Mysql
qq_34684037的博客
11-22 9149
Hive分布式安装部署（详细教程）Hive+Mysql作者：江南sweet 2016年11月22日 每个人在探索的路上，都会遇到大大小小的坑。 踩坑，记下来，既是警示后来的你，也是提醒现在的我， 路漫漫其修远兮，吾将上下而求索。 诸君，加油。目录 1，环境准备 2，安装hive和配置环境变量 3，安装Mysql 4，在mysql上创建hive元数据库，并对hive进行授权 5，安装
[Hive] 本地数据载入hive及报错“Invalid path”解决方案
eli的博客
08-10 3989
hive中用load data local inpath载入本地数据时出错，报错找不到路径，原因： 我本地路径用的是自己电脑上的路径，但是Hive本地装载数据中的"本地"指的是服务器的本地，而非我们电脑所在的“本地”。 如果是学习hive，在自己电脑上搭建练习环境，可能需要了解如何将“本机”（电脑）上的数据载入到hive。网上一些教程没有说明本地指“服务器”的原因是因为分布式计算所用到的数据量非常大，在实际操作中不太可能存在自己的电脑上，因此本地默认指服务器是合理的。但是对于非计算机背景的初学者，我们往
【Hive】Hive入门解析（二）
Together
04-06 5674
一、Hive安装与基本使用 1.Hive安装（确保MySql可用） 1.解压Hive安装包 2.配置Hive环境变量 export HIVE_HOME=/export/servers/hive export PATH=$PATH:$HIVE_HOME/bin 3.进入conf目录 mv hive-env.sh.template hive-env.sh vim hive-env.sh ...
Hive Shell常用操作
qq_36864672的博客
11-24 1万+
Hive的hql命令执行方式有三种： 1、CLI 方式直接执行 2、作为字符串通过shell调用hive –e执行（-S开启静默，去掉”OK”，”Time taken”） 3、作为独立文件，通过shell调用 hive –f或hive –i执行执行 1234 方式1 键入“hive”，启动hive的cli交互模式。Set可以查看所有环境设置参数，并可以重设。其他命令如， Use
Hive操作语句的使用实例讲解
weixin_34041003的博客
02-06 334
#创建表人信息表person(String name,int age)hive> create table person(name STRING,age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ESCAPED BY '\\' STORED AS TEXTFILE;OKTime taken: 0.541 seconds#创...
apache-hive-1.2.1-bin 安装
chongqueluo2709的博客
12-19 1854
apache-hive-1.2.1-bin 安装 更多资源:https://github.com/opensourceteams 技能标签 下载apache hive 安装包 进行apache-hive-1.2.1-bin.tar.gz安装 配置mysql存储元数据 配置HDFS存储 /us...
加载数据到hive中的方式
梁小明的博客
10-20 1万+
加载数据到hive中的方式 官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 .
hive Invalid path xxxx: No files matching path file: xxxx
shengruxiahua2571的博客
11-14 5733
背景：在本地执行代码远程连接hiveserver2，操作hive中的数据 问题：从本地load文件到hive遇到一个问题，代码中执行load语句报错：Invalid path xxxx: No files matching path file: xxxx 最后发现是这里的本地是相对于HDFS来说的本地，也就是说本地也得位于hiveserver2所在的节点上，但是不在HDFS中，使用LOAD DAT...
Hive Hql基本语法 全攻略
热门推荐
qq_15300683的博客
05-25 2万+
 Hive官网（HQL）语法手册（英文版）： https://cwiki.apache.org/confluence/display/Hive/LanguageManual一、Hive的数据存储　　1、Hive中所有的数据都存储在 HDFS 中，没有专门的数据存储格式（可支持Text，SequenceFile，ParquetFile，RCFILE等）　　2、只需要在创建表的时候告诉 Hive 数据...
CDH5.1手动部署教程：全面配置与服务器规划
CDH 5.1包含多个组件，如HDFS、YARN、Hive、Hue、Oozie、Sqoop和Spark（后者建议单独安装），以及HBase，特别指出线上生产环境中HBase需要独立部署以避免与Hive大规模数据处理冲突。 安装过程首先要求有特定的硬件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值