数据仓库Hive安装部署及基本操作

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Hive构建在基于静态批处理的Hadoop之上，由于Hadoop通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此，Hive并不适合那些需要低延迟的应用，它最适合应用在基于大量不可变数据的批处理作业，例如，网络日志分析。

Hive的特点是：可伸缩（在Hadoop集群上动态的添加设备）、可扩展、容错、输出格式的松散耦合。

Hive将元数据存储在关系型数据库（RDBMS）中，比如MySQL、Derby中。

Hive有三种模式连接到数据，其方式是：单用户模式，多用户模式和远程服务模式。（也就是内嵌模式、本地模式、远程模式）。

安装前提，已经安装好了Hadoop环境，可以参考：https://blog.youkuaiyun.com/weixin_42526141/article/details/82908623

---

现在来安装Hive：

step 1：首先在Linux本地，新建/data/hive目录，用于存放所需文件。切换目录到/data/hive下，使用wget命令，下载hive所需安装包apache-hive-2.3.4-bin.tar.gz以及mysql-connector-java-5.1.47-bin.jar。（hive下载会很慢，建议使用外部主机下载好上传到linux，最好是选择Stable版本的，不然后续使用有可能会出现很多问题）

mkdir -p /data/hive
cd /data/hive
wget http://archive.apache.org/dist/hive/stable/apache-hive-2.3.4-bin.tar.gz
wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.47.tar.gz

将/data/hive目录下的apache-hive-2.3.4-bin.tar.gz，解压缩到/apps目录下，再切换到/apps目录下，将apache-hive-2.3.4，重命名为hive。使用vim打开用户环境变量。将Hive的bin目录，添加到用户环境变量PATH中，然后保存退出。执行source命令，使Hive环境变量生效。

tar -zxvf apache-hive-2.3.4-bin.tar.gz  -C /apps/
cd /apps/
mv /apps/apache-hive-2.3.4-bin/ /apps/hive
sudo vim ~/.bashrc

#hive config
export HIVE_HOME=/apps/hive
export PATH=$HIVE_HOME/bin:$PATH

source ~/.bashrc

由于Hive需要将元数据，存储到Mysql中。所以需要拷贝/data/hive