Hive简介
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务运行。Hive具有稳定和简单易用的特性,成为了当前企业在构建企业级数据仓库时使用较为普遍的大数据组件之一。
本实验内容主要在Hadoop高可用集群上进行Hive的相关操作,关于Hadoop高可用集群的部署参考以下链接:
Hadoop系统应用之搭建Hadoop高可用集群(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
Hive的部署模式主要有三种:
- 嵌入模式,使用内嵌的Derby数据库存储元数据,是Hive最简单的部署方式。嵌入模式下的Hive不支持多会话连接,不适合生产环境,只适合测试环境。
- 本地模式,使用本地独立数据库存储元数据,这里的独立数据库通常使用MySQL数据库。本地模式部署的Hive支持元数据共享,并且支持多会话连接。
- 远程模式,远程模式与本地模式一样,同样是使用独立数据库存储元数据。不同的是,远程模式使用的是远端的独立数据库,而本地模式使用的是本地独立数据库。远程模式主要应用于Hive客户端较多的情况。
下面主要介绍远程模式的部署过程:
1、Hive安装
第一步:打开SecureCRT 8.3软件,在node-01上进入/export/software/目录,指令如下:
cd /export/software/
第二步:使用指令rz进行安装包上传,选择安装包apache-hive-1.2.1-bin.tar.gz。
apache-hive-1.2.1-bin.tar.gz
第三步:上传完毕后将该安装包解压到/export/servers/目录,使用如下指令:
tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /export/servers/
解压完成后使用cd /export/servers/进入该目录,之后使用指令ls可查看到该目录下存在apache-hive-1.2.1-bin.tar.gz文件。
2、MySQL安装
第一步:使用如下指令在根目录在线下载安装MySQL:
yum install mysql mysql-server mysql-devel
第二步:安装过程出现提示整个下载空间为17M,是否确定继续,输入y即可。
第三步:MySQL相关配置。
首先启动MySQL服务,输入如下