十五、Hive 安装部署及测试

本文介绍如何配置Hive与Hadoop关联,并通过MySQL存储Hive元数据。此外还涵盖了MySQL的安装步骤,以及Hive的基本操作,包括创建表、加载数据和执行简单的查询。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、Hive 如何配置与 Hadoop 关联,进行创建表,加载数据测试

Hive解压并修改名称,配置hive-env.sh的hadoop_home与HIVE_CONF_DIR





创建表,加载数据



二、在 Linux 下安装 MySQL 数据库
1、解压mysql 5.6.27



2、查看是否已经安装mysql,如未查询到则试试大小写,如有安装则进行卸载。



3、卸载完成后进行安装


4、启动服务,登陆,修改密码。



登陆后修改密码
mysql> use mysql;
mysql> SET PASSWORD = PASSWORD('root');
5、查看数据库



三、配置 Hive 元数据存储在 MySQL 中,查看相关元数据表信息
配置hive-site.xml


上传mysql-connector-java-5.1.28.jar到hive的lib包中,登陆测试成功。



登陆MySQL,查看元数据表信息




四、熟悉基本的 DML 和 DDL 语句(创建数据库、表及加载数据和基本查询语句 Select)


Hive是一个基于Hadoop的数据仓库工具,用于对大量数据进行存储、管理和分析。在CentOS上安装部署Hive通常分为几个步骤: 1. **安装Prerequisites**: - 首先,确保已经安装了Java Development Kit (JDK) 和 Hadoop HDFS。你可以通过`yum install java-1.8.0-openjdk hadoop-hdfs`命令检查并安装。 2. **下载和配置Hive**: - 下载Hive二进制包(可以从Apache官网下载)。例如: ``` wget http://www.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz ``` 3. **解压并移动目录**: - 解压缩文件:`tar -zxvf apache-hive-3.1.2-bin.tar.gz` - 移动到合适的目录(如 `/usr/local/hive`),然后创建软链接指向bin目录以便添加到PATH中。 4. **修改环境变量**: - 打开`~/.bashrc` 或 `~/.bash_profile` 文件,并添加Hive的路径,例如: ``` export PATH=$PATH:/usr/local/hive/bin ``` 5. **启动Metastore服务**: Hive需要Metastore服务来存储元数据。运行`hive metastore-server` 启动服务,然后查看其状态确认它是否正在运行。 6. **创建Hive用户和组**: - 创建一个新的Hive用户(如'hive') 并设置权限。 7. **初始化Hive**: - 使用Hive shell (`beeline`) 运行`create metadatabase DATABASE_NAME;` 来创建数据库。 8. **配置Hive-site.xml**: - 根据你的Hadoop集群调整`conf/hive-site.xml`中的配置,比如HDFS路径和Hive的元数据目录。 9. **启动Hive Server 2**: 如果你计划从外部客户端连接到Hive,还需要启动HiveServer2。 10. **验证安装**: 登录到Hive Shell (`beeline`),尝试执行一些基本操作,比如查询数据,来测试Hive是否已成功部署
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值