Hadoop技术栈（三）数仓工具HIVE

概念（HIVE并非数据库）

Hive 是基于 Hadoop 的一个数据仓库工具，可以将 结构化的数据文件 映射为一张表

( 类似于 RDBMS 中的表 ) ，并提供类 SQL 查询功能； Hive 是由 Facebook 开源，用于解

决海量结构化日志的数据统计。

Hive 本质是：将 SQL 转换为 MapReduce 的任务进行运算

底层由 HDFS 来提供数据存储

可以将 Hive 理解为一个： 将 SQL 转换为 MapReduce 任务的工具

HIVE的安装配置

参考我这边文章装mysql:Linux——MySQL8安装（更新）_linux wgt安装mysql8-优快云博客

下载网址：http://archive.apache.org/dist/hive/

mysql里边创建hive用户

-- 创建用户设置口令、授权、刷新
CREATE USER 'hive'@'%' IDENTIFIED BY '12345678';
GRANT ALL ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;

解压文件：tar zxvf apache-hive-2.3.7-bin.tar.gz -C ../servers/

重命名文件：mv apache-hive-2.3.7-bin hive-2.3.7

# 在 /etc/profile 文件中增加环境变量
export HIVE_HOME=/opt/lxq/servers/hive-2.3.7
export PATH=$PATH:$HIVE_HOME/bin
# 执行并生效
source /etc/profile

cd $HIVE_HOME/conf vi hive-site.xml 增加以下内容:

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- hive元数据的存储位置 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://linux123:3306/hivemetadata?createDatabaseIfNotExist=true&amp;useSSL=false</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<!-- 指定驱动程序 -->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<!-- 连接数据库的用户名 -->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>username to use against metastore database</description>
</property>
<!-- 连接数据库的口令 -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>12345678</value>
<description>password to use against metastore database</description>
</property>
</configuration>

将 mysql-connector-java-5.1.46.jar 拷贝到 $HIVE_HOME/lib

初始化元数据库：schematool -dbType mysql -initSchema

启动HIVE

# 启动 hive 服务之前，请先启动 hdfs 、 yarn 的服务

[root@linux123 ~] $ hive

hive> show functions;

Hive 属性配置

hive-site.xml 中增加以下常用配置

<property>
<!-- 数据默认的存储位置(HDFS) -->
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property>
<property>
<!-- 在命令行中，显示当前操作的数据库 -->
<name>hive.cli.print.current.db</name>
<value>true</value>
<description>Whether to include the current database in the Hive prompt.</description>
</property>
<property>
<!-- 在命令行中，显示数据的表头 -->
<name>hive.cli.print.header</name>
<value>true</value>
</property>
<property>
<!-- 操作小规模数据时，使用本地模式，提高效率 -->
<name>hive.exec.mode.local.auto</name>
<value>true</value>
<description>Let Hive determine whether to run in local mode automatically</description>
</property>

hive日志文件

Hive 的 log 默认存放在 /tmp/root 目录下（ root 为当前用户名）；这个位置可以修 改：

vi $HIVE_HOME /conf/hive-log4j2.properties

# 添加以下内容：

property.hive.log.dir = /opt/lxq/servers/hive-2.3.7/logs

-- 查看全部参数