Hive（一）安装&配置

Hive（一）安装&配置@你宝爷

一、环境搭建

1.1、MySql安装

#检查本机是否安装过MySql
rpm -qa|grep mariadb
#用此命令卸载mariadb
sudo rpm -e --nodeps  mariadb-libs   
#依次安装如下安装包
sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm
#执行此命令时报错：sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm
#执行如下命令安装依赖
sudo yum install -y libaio
#如果/etc/my.cnf文件中datadir指向的目录有内容，要删除掉
#初始化数据库
sudo mysqld --initialize --user=mysql #初始化mysql库
#查看生成的root用户密码
sudo cat /var/log/mysqld.log 
#启动MySql服务
sudo systemctl start mysqld
#登录MySql数据库
mysql -uroot -p
#修改root用户密码
set password = password("root");
#修改mysql库下的user表中的root用户允许任意ip连接，MySql命令行下执行如下命令：
        update mysql.user set host='%' where user='root';
        flush privileges; #生效

1.2、Hive安装

1.2.1、Hive安装

#解压安装包
#配置环境变量
sudo vim /etc/profile.d/my_env.sh
#刷新环境变量
source /etc/profile.d/my_env.sh
#解决日志Jar包冲突
mv $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.bak

1.2.2、配置Hive元数据到MySql

#新建配置文件
vim $HIVE_HOME/conf/hive-site.xml
#添加如下内容

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop11:3306/metastore?useSSL=false</value>
</property>

    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
</property>

	<!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>root</value>
    </property>
    <!-- Hive默认在HDFS的工作目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
    
    <!-- 指定hiveserver2连接的端口号 -->
    <property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
    </property>
   <!-- 指定hiveserver2连接的host -->
    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>hadoop102</value>
</property>

    <!-- 指定存储元数据要连接的地址 -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://hadoop102:9083</value>
    </property>
    <!-- 元数据存储授权  -->
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
</property>
<!-- Hive元数据存储版本的验证 -->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
</property>

<!-- hiveserver2的高可用参数，开启此参数可以提高hiveserver2的启动速度 -->
<property>
    <name>hive.server2.active.passive.ha.enable</name>
    <value>true</value>
</property>
</configuration>

1.3、Hive初始化&客户端必要服务启动

1.3.1、初始化

#进入MySql终端
mysql -uroot -proot
#创建元数据库
create database metastore;
#初始化Hive元数据库
schematool -initSchema -dbType mysql -verbose

1.3.2、客户端服务启动

#启动服务metastore 
hive --service metastore 
#启动服务hiveserver2 
hive --service hiveserver2

1.3.2、客户端脚本启动服务

myHiveClient.sh

#!/bin/bash
HIVE_LOG_DIR=$HIVE_HOME/logs
if [ ! -d $HIVE_LOG_DIR ]
then
	mkdir -p $HIVE_LOG_DIR
fi
#检查进程是否运行正常，参数1为进程名，参数2为进程端口
function check_process()
{
    pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
    ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
    echo $pid
    [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}

function hive_start()
{
    metapid=$(check_process HiveMetastore 9083)
    cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
    cmd=$cmd" sleep 4; hdfs dfsadmin -safemode wait >/dev/null 2>&1"
    [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
    server2pid=$(check_process HiveServer2 10000)
    cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
    [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}

function hive_stop()
{
    metapid=$(check_process HiveMetastore 9083)
    [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
    server2pid=$(check_process HiveServer2 10000)
    [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}

case $1 in
"start")
    hive_start
    ;;
"stop")
    hive_stop
    ;;
"restart")
    hive_stop
    sleep 2
    hive_start
    ;;
"status")
    check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
    check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' start|stop|restart|status'
    ;;
esac

1.4、启动客户端

#1）Hive访问，启动Hive客户端
hive
	#打印当前库和表头，需要配置文件hive-site.xml，添加如下内容：
	<property>
    <name>hive.cli.print.header</name>
    <value>true</value>
    <description>Whether to print the names of the columns in query output.</description>
    </property>
    <property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
    <description>Whether to include the current database in the Hive prompt.			     </description>
    </property>
#2）Hive JDBC访问，beeline客户端启动
$HIVE_HOME/bin/beeline -u jdbc:hive2://hadoop11:10000 -n hduser

1.5、常用属性配置

1.5.1、日志存储位置

mv $HIVE_HOME/conf/hive-log4j.properties.template $HIVE_HOME/conf/hive-log4j.properties
#添加如下内容
property.hive.log.dir=/opt/software/hive/logs

1.5.2、jvm堆内存设置

mv $HIVE_HOME/conf/hive-env.sh.template hive-env.sh
#打开如下注释内容
export HADOOP_HEAPSIZE=1024

1.5.3、三种配置方式

#进入Hive客户端
#查看当前所有配置
set;
#1）自定义配置，会覆盖Hadoop上的默认配置
#2）命令行参数配置，仅对本次Hive客户端有效
#设置参数并运行Hive客户端
$HIVE_HOME/bin/hive -hiveconf mapred.reduce.tasks=10;
#查看参数配置
set mapred.reduce.tasks;
#3）参数声明方式，仅对本次Hive客户端有效
#进入Hive客户端
set mapred.reduce.tasks=100;
#查看参数配置
set mapred.reduce.tasks;