大数据（3a）HIVE安装

本文（Hadoop已装）续
https://yellow520.blog.youkuaiyun.com/article/details/110425351

1、HIVE简介

• 基于Hadoop的数据仓库工具
• 将结构化的数据文件映射为数据库表，并提供SQL功能；
  能将SQL语句转变成MapReduce（或Spark、TEZ…）任务来执行
• 场景：非实时 大量不可变数据 的 批处理作业（离线数仓）
• 官网：http://hive.apache.org

简单架构图

比较	MySQL	HIVE
角色	数据库	数据仓库工具
是否存数据	存	不存
延时	低	高
数据量	小	大
应该场景	增删查改	大数据查询

2、环境和版本

安装包	版本	下载路径
JDK Hadoop HIVE	1.8 3.1.3 3.1.2	https://download.youkuaiyun.com/download/Yellow_python/13782524
MySQL	5.7.32	https://dev.mysql.com/downloads/mysql/
MySQL的JDBC	5.1.49	https://dev.mysql.com/downloads/connector/j/

下载到本地后使用rz -b上传

3、MySQL安装

https://yellow520.blog.youkuaiyun.com/article/details/113036158

4、HIVE安装

4.1、解压到指定目录并改名

tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/
cd /opt
mv apache-hive-3.1.2-bin hive

4.2、环境变量

vi /etc/profile.d/custom.sh

# HIVE
export HIVE_HOME=/opt/hive
export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile.d/custom.sh

4.3、删除日志冲突

cd $HIVE_HOME/lib
mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak

4.4、HIVE元数据配到MySQL

4.4.1、将MySQL的JDBC驱动复制到HIVE的lib目录

是之前和MySQL一块上传的东东

cp mysql-connector-java-5.1.49.jar $HIVE_HOME/lib/

4.4.2、配置metastore到MySQL

有个hive-default.xml.template默认配置模板，但本文不用

vim $HIVE_HOME/conf/hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 元数据 配到 MySQL的库名（之后MySQL要同名建库metastore） -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop100:3306/metastore?useSSL=false</value>
    </property>
    <!-- MySQL的JDBC驱动 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <!-- mysql用户名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- mysql密码 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
</configuration>

4.4.3、MySQL建库

mysql -uroot -p123456

create database metastore;
quit;

4.4.4、初始化HIVE元数据库

$HIVE_HOME/bin/schematool -initSchema -dbType mysql -verbose

4.5、运行HIVE

启动HIVE前先要确保Hadoop正在运行，并且 安全模式 结束

start-dfs.sh
ssh hadoop102 "start-yarn.sh"

进入HIVE

hive

退出HIVE

SHOW DATABASES;
QUIT;

5、重要补充！

1. https://yellow520.blog.youkuaiyun.com/article/details/115960751
2. 本文HIVE下载地址中，那个hive压缩包和官网的不完全一样
   在官网的基础上，做改了些源码的来兼容【HIVE on Spark】
   以及把guava-19.0.jar换成guava-27.0-jre.jar来兼容Hadoop
   以及没有binary-package-licenses文件夹