3-3-Hive部署运维-任务实现-优快云博客

本文链接：https://blog.youkuaiyun.com/2301_80792800/article/details/138217510

Hive部署运维-任务分析书

一、任务目的

掌握Hive的安装部署。

二、环境准备

操作系统：Centos7 
Hadoop 3.1.3
MySQL 5.7
Hive 3.1.2

三、任务实现

3.1 MySQL安装

检查当前系统是否安装过\Mysq

rpm -qa|grep mariadb

rpm -e --nodeps  mariadb-libs  //用此命令卸载mariadb

解压安装MySQL

[root@bigdata1 mysql]# tar -xf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar -C /opt/software/mysql

[root@bigdata1 mysql]# rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm
[root@bigdata1 mysql]# rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
[root@bigdata1 mysql]# rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
[root@bigdata1 mysql]# rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm 

[root@bigdata1 mysql]# rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm
 
 #注意：按照顺序依次执行！！
缺少相关依赖时，使用yum安装对应依赖后重新执行失败命令即可。

初始化数据库

[root@bigdata1 mysql]# mysqld --initialize --user=mysql

#查看临时生成的root用户的密码 
[root@bigdata1 mysql]# cat /var/log/mysqld.log

#1）启动MySQL服务
[root@bigdata1 mysql]# systemctl start mysqld
#2）登录MySQL数据库
 mysql -uroot -p
Enter password:   输入临时生成的密码
   登录成功.
#3）必须先修改root用户的密码,否则执行其他的操作会报错
mysql> set password = password("123456");
#4）修改mysql库下的user表中的root用户允许任意ip连接
mysql> update mysql.user set host='%' where user='root';
mysql> flush privileges;

3.2 Hive安装

1）解压apache-hive-3.1.2-bin.tar.gz到/opt/module目录下面

[root@bigdata1 software]$ tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/

2）修改apache-hive-3.1.2-bin.tar.gz的名称为hive

[root@bigdata1 software]$ mv /opt/module/apache-hive-3.1.2-bin/ /opt/module/hive-3.1.2

3）修改/etc/profile.d/bigdata_env.sh，\添加环境变量

[root@bigdata1 software]$ vim /etc/profile.d/bigdata_env.sh

4）添加内容

#HIVE_HOME
export HIVE_HOME=/opt/module/hive-3.1.2
export PATH=$PATH:$HIVE_HOME/bin

3.3 Hive元数据库配置

将Hive的元数据库配置为MySQL。

驱动拷贝

#将MySQL的JDBC驱动拷贝到Hive的lib目录下：
cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib

配置MetaStore数据库为MySQL

在hvie的conf目录下新建hive-site.xml：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://bigdata1:3306/metastore?useSSL=false</value>
</property>

    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
</property>

	<!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <!-- Hive默认在HDFS的工作目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
    
    <!-- 指定hiveserver2连接的端口号 -->（jdbc客户端连接的端口）
    <property>
        <name>hive.server2.thrift.port</name>     
        <value>10000</value>
    </property>
   <!-- 指定hiveserver2连接的host -->
    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>bigdata1</value>
</property>

    <!-- 指定存储元数据要连接的地址 -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://bigdata1:9083</value>
    </property>
    <!-- 元数据存储授权  -->
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
</property>
<!-- Hive元数据存储版本的验证 -->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
</property>

<!-- hiveserver2的高可用参数，开启此参数可以提高hiveserver2的启动速度 -->
<property>
    <name>hive.server2.active.passive.ha.enable</name>
    <value>true</value>
</property>
</configuration>

3.4 启动

3.4.1 初始化元数据库

登陆MySQL

mysql -uroot -p123456

新建Hive元数据库

mysql> create database metastore;
mysql> quit;

3.初始化Hive元数据库

[root@bigdata1 software]# schematool -initSchema -dbType mysql -verbose

注：jar包冲突解决

#若初始化Hive元数据库时出现以下报错。
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
        at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357)
        at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338)
        at org.apache.hadoop.mapred.JobConf.setJar(JobConf.java:536)
        at org.apache.hadoop.mapred.JobConf.setJarByClass(JobConf.java:554)
        at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:448)
        at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:5141)
        at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:5099)
        at org.apache.hadoop.hive.common.LogUtils.initHiveLog4jCommon(LogUtils.java:97)
        at org.apache.hadoop.hive.common.LogUtils.initHiveLog4j(LogUtils.java:81)
        at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:699)
        at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:683)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:323)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:236)

解决方案：

关键在： com.google.common.base.Preconditions.checkArgument 这是因为hive内依赖的guava.jar和hadoop内的版本不一致造成的。 检验方法：

查看hadoop安装目录下share/hadoop/common/lib内guava.jar版本
查看hive安装目录下lib内guava.jar的版本 如果两者不一致，删除版本低的，并拷贝高版本的 问题解决！

3.4.2 启动Hive

#创建logs目录用来存放日志：
[root@bigdata1 hive-3.1.2]# mkdir logs

#启动：
nohup hive --service metastore>/opt/module/hive-3.1.2/logs/metastore.log 2>&1 &
nohup hive --service hiveserver2>/opt/module/hive-3.1.2/logs/hive2.log 2>&1 &

#检查：
[root@bigdata1 hive-3.1.2]# ps -aux|grep hive