Hadoop3.x ——Hive安装部署

最新推荐文章于 2025-04-10 11:23:35 发布

原创

最新推荐文章于 2025-04-10 11:23:35 发布 · 1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hive #hadoop #大数据

文章目录

注意事项

Hive是一款基于Hadoop的数据仓库软件，不管使用何种方式配置Hive Metastore，必须先保证服务器的基础环境正常，Hadoop集群健康可用
- 1. 服务器基础环境
  - 集群时间同步、防火墙关闭、主机Host映射、免密登录、JDK安装
- 1. Hadoop集群健康可用
  - 启动Hive之前必须先启动Hadoop集群
  - 特别要注意，需等待HDFS安全模式关闭之后再启动运行Hive
  - Hive不是分布式安装运行的软件，其分布式的特性主要借由Hadoop完成。包括分布式存储、分布式计算
metastore 服务配置模式
- 本次配置的是远程模式

Hadoop 和 Hive 整合

因为Hive需要把数据存储在HDFS上，并且通过MapReduce作为执行引擎处理数据
因此需要在Hadoop中添加相关配置属性，以满足Hive在Hadoop上运行
修改Hadoop中core-site.xml，并且Hadoop集群同步配置文件，重启生效

<!-- 整合hive 用户代理设置 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

搭建Hive

1. 安装MySQL

注意MySQL只需要在一台机器安装并且需要授权远程访问

我选择把MySQL安装在node1上

卸载Centos7自带的mariadb
```
[root@node1 ~]# rpm -qa|grep mariadb
mariadb-libs-5.5.64-1.el7.x86_64
You have new mail in /var/spool/mail/root
[root@node1 ~]# rpm -e --nodeps mariadb-libs-5.5.64-1.el7.x86_64
[root@node1 ~]# rpm -qa|grep mariadb
```
- rpm -qa | grep xxx
  
  | 是管道技术，删选的意思； grep 查找——一种文本搜索工具
  
  解读：在-qa返回的信息中对xxx进行查找，并返回为最终结果
- rpm -e --nodeps <rpm packagename>
  
  不检查依赖而强制删除

安装MySQL

[root@node1 ~]# mkdir /export/software/mysql

# 上传mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar 到上述文件夹下  解压
[root@node1 ~]# cd /export/software/mysql
[root@node1 mysql]# ls
mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar
[root@node1 mysql]# tar -xvf mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar

[root@node1 mysql]# yum -y install libaio
[root@node1 mysql]# rpm -ivh mysql-community-common-5.7.29-1.el7.x86_64.rpm mysql-community-libs-5.7.29-1.el7.x86_64.rpm mysql-community-client-5.7.29-1.el7.x86_64.rpm mysql-community-server-5.7.29-1.el7.x86_64.rpm

MySQL 初始化设置

#初始化
[root@node1 mysql]# mysqld --initialize

#更改所属组
[root@node1 mysql]# chown mysql:mysql /var/lib/mysql -R

#启动mysql
[root@node1 mysql]# systemctl start mysqld.service

#查看生成的临时root密码
[root@node1 mysql]# cat  /var/log/mysqld.log
# 找到类似如下信息，这里 >kl-lOa!i6FB 就是生成的临时root密码
[Note] A temporary password is generated for root@localhost: >kl-lOa!i6FB