安装部署Hive

本文档详细介绍了在已成功安装并运行的Hadoop基础上,如何在HadoopMaster节点上安装、配置和启动Hive。首先验证Hadoop是否正常启动,接着解压安装Hive,使用root权限安装并启动MySQL,创建数据库和用户。然后配置Hive,包括修改配置文件,添加hive-site.xml,复制MySQL的Java连接器到依赖库,并设置环境变量。最后,初始化metadata并启动Hive,成功启动的标志是Hive客户端的欢迎界面。

该部分的安装需要在Hadoop已经成功安装的基础上,并且要求Hadoop已经正常启动。

Hadoop正常启动的验证过程如下:

(1)  使用下面的命令,看可否正常显示HDFS上的目录列表

[lyu@master ~]$ hdfs dfs -ls /

(2)  使用浏览器查看相应界面

http://master:50070

http://master:18088

该页面的结果跟Hadoop安装部分浏览器展示结果一致。

如果满足上面的两个条件,表示Hadoop正常启动。

 

我们将Hive安装在HadoopMaster节点上。所以下面的所有操作都在HadoopMaster节点上进行。

 

下面所有的操作都使用lyu用户,切换lyu用户的命令是:

su - lyu

密码是:lyu

解压并安装Hive

 

使用下面的命令,解压Hive安装包:

[lyu@master ~]$ cd /home/lyu/resources/software/hive

[lyu@master hive]$ mv ~/resources/software/hive/apache-hive-2.1.1-bin.tar.gz ~/

[lyu@master hive]$ cd

[lyu@master ~]$ tar -zxvf ~/apache-hive-2.1.1-bin.tar.gz

## 实验步骤解析 ### **步骤六概述** 本步骤的目标是将Hive安装并配置为可以在单机环境下运行的状态,可以选择使用内嵌数据库(如Derby)作为元数据存储。 --- ## 详细操作说明 ### **1. 下载与解压Hive安装包** - 使用 `wget` 或本地上传工具(如 `rz`)获取 Hive 安装包: ```bash wget https://downloads.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz ``` - 解压安装包到指定目录,例如 `/usr/local/`: ```bash tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /usr/local/ ``` - 重命名文件夹便于管理(可选): ```bash mv /usr/local/apache-hive-3.1.2-bin /usr/local/hive ``` --- ### **2. 配置环境变量** - 编辑系统环境变量文件(如 `/etc/profile` 或 `~/.bashrc`): ```bash export HIVE_HOME=/usr/local/hive export PATH=$HIVE_HOME/bin:$PATH ``` - 刷新环境变量: ```bash source ~/.bashrc ``` --- ### **3. 配置Hive为内嵌模式(使用Derby)** - 创建配置文件 `hive-site.xml`(位于 `$HIVE_HOME/conf/` 目录下),内容如下: ```xml <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:derby:;databaseName=/usr/local/hive/metastore_db;create=true</value> </property> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> <property> <name>hive.exec.scratchdir</name> <value>/user/hive/tmp</value> </property> </configuration> ``` - 上述配置指定了: - 使用 Apache Derby 作为内嵌的元数据库; - 设置 Hive 数据仓库的默认路径; - 设置临时文件存储路径。 --- ### **4. 初始化Hive元数据库** - 执行以下命令初始化 Derby 数据库: ```bash schematool -dbType derby -initSchema ``` - 成功后会生成 `metastore_db` 数据库目录和相关文件。 --- ### **5. 启动Hive进行测试** - 输入以下命令启动 Hive CLI(命令行接口): ```bash hive ``` - 在 Hive 中执行命令查看数据库: ```sql show databases; ``` - 如果输出中包含 `default`,说明 Hive 已经成功部署。 --- ## 知识点 **1. Hive架构与作用** Hive 是基于 Hadoop 的数据仓库工具,提供类 SQL 查询语言 HQL,用于处理大规模结构化数据。 **2. 元数据库配置** Hive 使用元数据库存储表结构、分区等信息。本步骤中使用的是轻量级内嵌数据库 Derby,适合学习和测试环境。 **3. 环境变量配置与脚本加载** 通过配置 `HIVE_HOME` 和 `PATH`,确保系统能识别 Hive 命令;使用 `source` 命令使配置生效。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值