Hive

---

前言

大数据框架解决的问题：海量数据的传输、存储、计算。
hadoop：存储+计算

一、Hive基础

解决海量结构化日志的数据统计。

基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

本质：将HQL转化成MapReduce程序。

1）Hive处理的数据存储在HDFS
2）Hive分析数据底层的默认实现是MapReduce
3）执行程序运行在Yarn上
可以将Hive看做是hadoop的一个客户端。

Hive架构：

二、Hive安装配置

1.地址

官网：http://hive.apache.org/
下载地址：http://archive.apache.org/dist/hive/

2.安装

将hive压缩包放在/opt/modules下，解压、重命名
再配置环境：在hive/conf/下的hive-env.sh.template改为hive-env.sh并打开，在末尾指定HADOOP_HOME 、HIVE_CONF_DIR

3.启动

启动hive之前要先启动hadoop：

三、Hive操作

1. 简单操作

hive创建表、简单的查询表数据（没有聚合运算之类的）不用MapReduce；像插入数据就是用的MapReduce操作：

2. 将本地文件导入hive

（1）load

导入的如果不是本地数据，则不需要加local这个关键字。

（2）put

3. 将默认数据库换成mysql

装mysql，设置root用户远程登录，把mysql的jar包放在hive/lib下，再配置hive/conf下的hive-site.xml（需自己新建）：

<configuration>  
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true</value>
    <description>
      JDBC connect string for a JDBC metastore.
      To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
      For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
    </description>
  </property>
 
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
 
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>Username to use against metastore database</description>
  </property>
 
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
    <description>password to use against metastore database</description>
  </property>
 
</configuration>  

再启动hive，可以看到现在更换数据库之后，没有一张表：
(之前的test_load那些表，它们是存在默认的Derby数据库)

4. hive常用交互式命令

（1）-e ‘quoted query string’

运行引号内sql查询语句 Sql from command line:

（2）-f < filename >

从文件中运行sql语句 Sql from file

---

总结

过程中收集的资源：

1. mysql库下面的user表没有password字段，是因为5.7版本已经不再使用password来作为密码的字段了 而改成了authentication_string。
2. schematool -dbType mysql -initSchema 失败：解决方案1 、解决方案2
3. Hive安装与配置详解 - 魁·帝小仙 - 博客园
4. 解决JDBC连接MySQL时发出的警告WARN: Establishing SSL connection without server’s identity verification … ：https://blog.youkuaiyun.com/huang_xin2016/article/details/79757799
5. 不小心删掉了日志配置文件，可以在这找：https://github.com/stealthly/hdp-accumulo/blob/master/vagrant/hdp_manual_install_rpm_helper_files-2.0.6.76/configuration_files/hive/hive-log4j.properties.template