Hive安装部署

最新推荐文章于 2024-12-03 23:51:26 发布
最新推荐文章于 2024-12-03 23:51:26 发布
阅读量2.3k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： # hive 大数据组件安装 文章标签： hive hadoop hive metastore
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhang5324496/article/details/121184069

 目录

1：官网下载安装包 Index of /dist/hive 。

2：解压缩安装包

3：修改 hive配置。

        a- 指定hive的元数据 存储位置

        b- 指定元数据库的驱动程序(以 mysql为元数据库为例)

        c- 指定元数据库的 用户名和密码

         d- 指定数据在HDFS上的存储路径

         e- 设置方便操作，查看的属性。 在 命令行 中显示 数据库名和数据的表头

        f-  设置小规模数据时，使用本地模式，提高效率。本机练习时常用        

 4：将对应的mysql驱动程序拷贝到 hive-2.3.7/lib 下。

5：配置环境变量 。

6：初始化 元数据库

7：启动 hive，验证是否部署成功

二： 生产环境的元数据管理

1- 在全部的节点上解压安装hive。

2- 启动hive metastore服务

3- 修改hive 客户端的 hdfs-site.xml。

4- 启动hive客户端

 5- 高可用测试

前提: 安装了 hadoop(提供数据的存储HDFS) 和 mysql (作为hive的元数据库)。

 hadoop的安装文档: hadoop安装部署(学习)

mysql新建了hive的用户。 用户名为 hive ， 密码为 "12345678"

软件node1node2node3
hadoop√√√
hive√
mysql√

1：官网下载安装包 Index of /dist/hive 。

         以hive-2.3.7为例

2：解压缩安装包

         以 安装目录为 /opt/cluster/servers 为例，

# 解压到hive 到 /opt/cluster/servers/

tar zxvf apache-hive-2.3.7-bin.tar.gz -C /opt/cluster/servers/

# 重命名

mv /opt/cluster/servers/apache-hive-2.3.7-bin /opt/cluster/servers/hive-2.3.7

3：修改 hive配置。

        可以拷贝 conf下的 hive-default.template.xml。也可以新建配置文件。
        以新建 hive-site.xml为例。新建文件后，新增内容.


        a- 指定hive的元数据 存储位置

        b- 指定元数据库的驱动程序(以 mysql为元数据库为例)

        c- 指定元数据库的 用户名和密码

         d- 指定数据在HDFS上的存储路径

         e- 设置方便操作，查看的属性。 在 命令行 中显示 数据库名和数据的表头

        f-  设置小规模数据时，使用本地模式，提高效率。本机练习时常用
        

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- hive元数据的存储位置 -->
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://node3:3306/hivemetadata?createDatabaseIfNotExist=true&amp;useSSL=false</value>
		<description>JDBC connect string for a JDBC metastore</description>
	</property>

	<!-- 指定驱动程序 -->
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
		<description>Driver class name for a JDBC metastore</description>
	</property>
	
	<!-- 连接数据库的用户名 -->
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>hive</value>
		<description>username to use against metastore database</description>
	</property>
	
	<!-- 连接数据库的口令 -->
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>12345678</value>
		<description>password to use against metastore database</description>
	</property>

	<!-- 数据默认的存储位置(HDFS) -->
    <property>
    	<name>hive.metastore.warehouse.dir</name>
	    <value>/user/hive/warehouse</value>
	</property>

    <!-- 在命令行中，显示当前操作的数据库 -->
	<property>
		<name>hive.cli.print.current.db</name>
		<value>true</value>
	</property>

	<!-- 在命令行中，显示数据的表头 -->
	<property>
		<name>hive.cli.print.header</name>
		<value>true</value>
	</property>

	<!-- 操作小规模数据时，使用本地模式，提高效率 -->
	<property>
		<name>hive.exec.mode.local.auto</name>
		<value>true</value>
	</property>
</configuration>

注意jdbc的连接串，如果没有 useSSL=false 会有大量警告

在xml文件中 &amp 表示 &

 4：将对应的mysql驱动程序拷贝到 hive-2.3.7/lib 下。


        注意驱动程序版本要对应
        我的mysql是 5.7.24， 驱动程序版本是 5.1.46， mysql-connector-java-5.1.46.jar

5：配置环境变量 。

        配置hive的环境变量。方便后续的使用。

vi /etc/profile

# 在 /etc/profile 文件中增加环境变量

export HIVE_HOME=/opt/cluster/servers/hive-2.3.7
export PATH=$PATH:$HIVE_HOME/bin

# 执行并生效
source /etc/profile

6：初始化 元数据库

schematool -dbType mysql -initSchema

7：启动 hive，验证是否部署成功

# 启动hive服务之前，请先启动hdfs、yarn的服务

[root@node123 ~]$ hive
hive> show functions;

二： 生产环境的元数据管理
 

        上面的配置，在hdfs-site.xml中暴露了元数据库(mysql)的连接信息(地址，驱动，用户名和密码)。所以在生产环境一般不采用这种方式。而是在上层暴露一个服务metastore，这个服务协议thift要兼容多语言(java，python等)，多驱动(mysql，oracle等)，为外部访问Hive元数据提供入口，通过它来屏蔽了 数据库访问的地址，驱动，用户名和密码。

        第一种的元数据管理模式(元数据存在mysql，hdfs-site.xml中配置元数据库的连接信息)，一般叫本地模式。每个hive 服务 都内嵌一个metastore(metastore是管理元数据的服务)。

      生产环境一般采用的是远程模式，单独起一个metastore服务，通过它统一对外面提供元数据访问入口。它自己去元数据库mysql拿元数据。

           生产环境中元数据管理的远程模式配置，以3个节点为例，服务配置如下，配置2个hive metastore，可以作为HA，提高可用性

节点hive metastorehive client
node1是
node2是
node3是

1- 在全部的节点上解压安装hive。

        参考之前解压安装的步骤，并配置hive的环境变量 

2- 在hive metastore的节点上配置mysql信息。

    在这里就是 node1 和 node3 。编辑 hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- hive元数据的存储位置 -->
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://node3:3306/hivemetadata?createDatabaseIfNotExist=true&amp;useSSL=false</value>
		<description>JDBC connect string for a JDBC metastore</description>
	</property>

	<!-- 指定驱动程序 -->
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
		<description>Driver class name for a JDBC metastore</description>
	</property>
	
	<!-- 连接数据库的用户名 -->
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>hive</value>
		<description>username to use against metastore database</description>
	</property>
	
	<!-- 连接数据库的口令 -->
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>12345678</value>
		<description>password to use against metastore database</description>
	</property>

	<!-- 数据默认的存储位置(HDFS) -->
    <property>
    	<name>hive.metastore.warehouse.dir</name>
	    <value>/user/hive/warehouse</value>
	</property>

    <!-- 在命令行中，显示当前操作的数据库 -->
	<property>
		<name>hive.cli.print.current.db</name>
		<value>true</value>
	</property>

	<!-- 在命令行中，显示数据的表头 -->
	<property>
		<name>hive.cli.print.header</name>
		<value>true</value>
	</property>

	<!-- 操作小规模数据时，使用本地模式，提高效率 -->
	<property>
		<name>hive.exec.mode.local.auto</name>
		<value>true</value>
	</property>
</configuration>

3- 在hive节点上，放入 mysql的驱动，并初始化元数据库

     拷贝 mysql的驱动到 $HIVE_HOME/lib 下，注意要和mysql的版本对应上

      初始化元数据库，在node1 和3 执行命令

schematool -dbType mysql -initSchema

4- 启动hive metastore服务并检查启动结果

        在 node1 和 node3 中执行

nohup hive --service metastore &

     metastore的默认服务端口是9083, 我这里使用的是lsof命令，其他的网络检查端口也可以。

lsof -i:9083

5- 修改hive 客户端的 hdfs-site.xml。

    告知客户端metastore的地址，不需要配置元数据库(mysql)的连接信息。

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>  
  <!-- 配置hive metastore 服务地址 -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://node1:9083,thrift://node2:9083</value>
    </property>

    <!-- 数据默认的存储位置(HDFS) -->
    <property>
    	<name>hive.metastore.warehouse.dir</name>
	    <value>/user/hive/warehouse</value>
	</property>

    <!-- 在命令行中，显示当前操作的数据库 -->
	<property>
		<name>hive.cli.print.current.db</name>
		<value>true</value>
	</property>

	<!-- 在命令行中，显示数据的表头 -->
	<property>
		<name>hive.cli.print.header</name>
		<value>true</value>
	</property>

	<!-- 操作小规模数据时，使用本地模式，提高效率 -->
	<property>
		<name>hive.exec.mode.local.auto</name>
		<value>true</value>
	</property>
</configuration>

6- 启动hive客户端

        在node2 执行

hive

 7- 高可用测试

        7.1-进入hive客户端，随便执行命令。比如show databases

show databases;

        7.2- 查看目前连接在哪个节点的metastore

        分别在 node1，node3上执行

# metastore默认的服务端口是 9083
lsof -i:9083

       在 链接的节点上会有两条信息

        7.3- 杀死已连接的 metastore进程

         到对应的节点  kill 9 <pid>

kill 9 <pid>

        7.4- 再执行show databases；还是能正常执行命令。且链接到另外一个节点上

一文带你Hive入门：从安装到配置全攻略
邓邓子的博客
06-13 1137
在大数据时代，Hive作为基于Hadoop的数据仓库工具，能将结构化数据文件映射为表，提供类SQL查询功能，深受开发者青睐。本文聚焦Hive安装与配置，先阐述安装前JDK、Hadoop、MySQL 等必备软件及版本要求，介绍环境检查方法；接着详细讲解从下载、解压安装包到设置环境变量的安装步骤，以及 hive-env.sh、hive-site.xml 等核心配置文件的修改；随后展示启动 Hive 及基础测试流程；最后罗列常见问题及解决方案。旨在为优快云博主和技术爱好者提供全面、实用的Hive安装配置指南。
5节点Hadoop,Hive,HBase HA 集群搭建
qzqanzc的博客
05-10 454
节点规划 host 节点进程 node1 namenode,datanode,HRegionServer,NodeManager,DFSZKFailoverController node2 secondarynamenode,datanode,zookeeper,NodeManager,JournalNode,ResourceManager node3 namenode,d...
Hive 多节点搭建(Remote Metastore Server)
chooser007的博客
06-14 700
1、在上一篇的基础之上继续：hive单节点搭建
hive是不是要分布式部署？要不要安装多个？
hua_ed的专栏
10-23 9684
hive是不是要分布式部署？要不要安装多个？ 见 http://www.aboutyun.com/thread-10937-1-1.html 第8问 第8问回答：Hive的安装其实有两部分组成，一个是Server端、一个是客户端，所谓服务端其实就是Hive管理Meta的那个Hive,服务端可以装在任何节点上，可以是Namenode上也可以是Datanode的任意一个节点上，至于哪个节点
hive安装
houkai的博客
05-01 1029
安装时注意： hive只需要在hadoop的namenode节点中安装即可，hive运行JRE，Hadoop，默认将元数据存储在derby中，但是常见是将数据存储在mysql中的，因此也需要安装mysql数据库 安装步骤 1.上传安装文件并解压 2.配置环境变量 vim /etc/profile export HIVE_HOME=/usr/local/hive-2....
hive安装部署
最新发布
qq_28317295的博客
12-03 964
在/opt/soft/hadoop-3.3.6/etc/hadoop目录下，修改mapred-site.xml文件，增加如下配置。进入/opt/soft/apache-hive-3.1.3-bin目录，启动metastore服务。进入/opt/soft/apache-hive-3.1.3-bin目录，启动hiveserver2。进入hive安装目录。
【Linux】—Apache Hive 安装部署
sodaloveer的博客
06-18 2750
本文主要介绍在Linux环境下安装Hive的过程。
Hive以及Hive安装部署
望山。
11-15 2172
文章目录1.Hive简介1.1什么是Hive1.2为什么使用Hive1.3Hive的特点1.4Hive架构图1.5Hive与Hadoop的关系1.6Hive与传统数据库对比2.HIVE的安装部署1.derby版hive直接使用1、解压hive2.修改目录名称3.初始化元数据库4.启动5.创建数据库6.创建表7.插入数据8.可能遇到的问题9.Hive启动报错Safe mode2.基于mysql管理元数据版hive1、解压hive2.修改目录名称3.检测服务器mysql数据库4.配置mysql允许外网访问5.退
Hive部署和3种搭建模式
君子性非异也 善假于物也
01-11 2579
Hive部署      　　以上，是参考《Hadoop海量数据处理  技术详解与项目实战》 Hive搭建模式1、local模式此模式连接到一个In-memory 的数据库Derby，一般用于Unit Test。这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可     javax.jdo.option.Connectio
Hive分布式集群部署
上帝之手&传奇 - MartinLee
08-12 3194
Hive编程，可以使开发者不需要考虑底层MapReduce算法如何实现，而只需集中精力关注SQL语句的编写即可。 Apache Hive 是建立在Hadoop上的数据仓库，它提供了一系列工具，可以用来查询和分析数据，Hive提供了执行SQL的接口，用于操作存储在Hadoop分布式文件系统HDFS中的数据。 Hive 可以将结构化的数据文件映射成为一张数据库表，并且提供了便捷的sql语句查询功能，开发者可以通过SQL语句将实现的业务功能转化为MapReduce任务来运行。 Hive 数据仓库是构建在Ha
Hadoop中Hive原理及安装
等风等雨等你
12-20 442
Hive是什么(官网概念) Apache Hive™数据仓库软件有助于使用SQL读取，写入和管理驻留在分布式存储中的大型数据集。可以将结构投影到已存储的数据上。提供命令行工具和JDBC驱动程序，用于将用户连接到Hive。整理了一份适合2018年学习的大数据资料需要的加群QQ群：834325294 注明优快云既可免费获取 Hive是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化...
(2) Hive安装
allensandy的博客
04-26 951
http://hive.apache.org/downloads.html 对照关系：
Hive1 安装与环境配置
Auraros的博客
10-12 439
Hive1 安装与环境配置 准备好的安装包： 1. apache-hive-2.3.6-bin.tar.gz 2. mysql-8.0.17-linux-glibc2.12-x86_64.tar.xz 3. mysql-connector-java-8.0.21.jar 安装前说明： 安装hive前提是要先安装hadoop集群 hive只需要再hadoop的namenode节点集群里安装即可(需要在所有namenode上安装)，可以不在datanode节点的机器上安装。 虽然修改配置文件并不需要你已
Hive安装及使用攻略
z971829916的专栏
11-08 1446
Hive安装及使用攻略 让Hadoop跑在云端系列文章，介绍了如何整合虚拟化和Hadoop，让Hadoop集群跑在VPS虚拟主机上，通过云向用户提供存储和计算的服务。 现在硬件越来越便宜，一台非品牌服务器，2颗24核CPU，配48G内存，2T的硬盘，已经降到2万块人民币以下了。这种配置如果简单地放几个web应用，显然是奢侈的浪费。就算是用来实现单节点的hadoop，对计算资源浪费也是非常高的。
Hive集群安装（3个节点）-基于Hadoop
Allenzyg的博客
04-26 7581
接我上一篇文章《Hadoop集群安装（3个节点）》，写上篇文章以及本篇文章的原因是：使用NiFi解决两个需求， 需求一：导出MySQL数据转换为Json串并保存到本地 需求二：导出Hive数据转换为csv并保存到HDFS 需求一还是很容易实现的，只需要安装NiFi（下篇文件介绍安装&使用）、MySQL就可以实现了。 由于是在外做项目（青岛RRS物流），没有在公司那么方便，虽然公司也...
在HADOOP上安装Hive
Ruyasuih的博客
11-21 419
在hadoop上部署mysql和hive
基于Hadoop平台安装Mysql+Hive
weixin_45831715的博客
12-07 1923
在Linux系统（Centos7）中基于Hadoop平台安装Mysql+Hive
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值