Hive安装

最新推荐文章于 2024-09-02 19:51:39 发布

LiuY_ang

最新推荐文章于 2024-09-02 19:51:39 发布

阅读量655

点赞数 1

分类专栏： Hadoop 文章标签： Hive

Hadoop 专栏收录该内容

5 篇文章

订阅专栏

本文详细介绍Hive在Hadoop集群中的安装与配置步骤，包括环境变量设置、配置文件修改及MySQL元数据存储等关键环节，并记录安装过程中遇到的问题及解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在Apache的网站上都有关于Hbase和Hadoop的详细过程，但是我在网站上并没有找到关于Hive的详细配置信息。网站只是说应该该更设置，但是并没有说怎样设置，我只能上网找别的资料，按照找到的资料进行设置，设置成功，先总结如下。
本系统环境：
1、Hadoop 2.8.0
2、Java 1.8
3、Hive 2.1.1
4、MySQL 5.7.19
5、MacOS Sierra 10.12.4
集群模式安装步骤：
1、设置Hive环境变量，这一步骤有些电脑可以省略,比如我用brew下载Hive，但是我没有设置。
2、复制配置文件，并重命名。将hive-env.sh.template，hive-default.xml.template, hive-log4j2.properties.template, hive-exec-log4j2.properties.template依次复制并重命名为hive-env.sh, hive-site.xml, hive-log4j2.properties, hive-exec-log4j2.properties
3、修改hive-env.sh，在该文件中指定Hadoop安装路径。我只配置了HADOOP_HOME和HIVE_CONF_DIR两个参数。

export JAVA_HOME=/opt/java    ##Java路径
export HADOOP_HOME=/opt/hadoop   ##Hadoop安装路径
export HIVE_HOME=/opt/hive    ##Hive安装路径
export HIVE_CONF_DIR=/opt/hive/conf    ##Hive配置文件路径

4、创建HDFS目录，在Hive中创建表之前需要创建以下HDFS目录并给它们赋予相应的权限。

hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -mkdir -p /user/hive/tmp
hdfs dfs -mkdir -p /user/hive/log
hdfs dfs -chmod g+w /user/hive/warehouse
hdfs dfs -chmod g+w /user/hive/tmp
hdfs dfs -chmod g+w /user/hive/log

5、修改hive-site.xml,将hive-site.xml文件中以下几个配置项的值设置成上一步中创建的几个路径。

<property>
    <name>hive.exec.scratchdir</name>
    <value>/user/hive/tmp</value>
    <description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/&lt;username&gt; is created, with ${hive.scratch.dir.permission}.</description>
  </property>
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
    <description>location of default database for the warehouse</description>
  </property>
<property>
    <name>hive.querylog.location</name>
    <value>/user/hive/log</value>
    <description>Location of Hive run time structured log file</description>
  </property>

Hive Metastore在默认的情况下，Hive的元数据保存在内嵌的Derby数据库里，但是在一般的情况下会使用MySQL来存放Hive元数据。
6、安装好MySQL，下面创建一个hive数据库用来存储Hive的元数据，数据库的用户名为hive，密码依据密码的登记而进行设定。我把密码设置为”hivehivehive”

mysql> CREATE DATABASE hive; 
mysql> USE hive; 
mysql> CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hivehivehive';
mysql> GRANT ALL ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'hivehivehive'; 
mysql> GRANT ALL ON hive.* TO 'hive'@'%' IDENTIFIED BY 'hivehivehive'; 
mysql> FLUSH PRIVILEGES; 
mysql> quit;

7、修改hive-site.xml，配置MySQL数据的连接信息。

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?characterEncoding=UTF-8</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
  </property>

8、在hive-site.xml配置文件中，我只保存了文件和数据库的配置项，即（5）、（7）中的配置，剩下的配置全部都删除了。在命令行运行hive命令时，需要保证：HDFS已经启动；将MySQL java连接器添加到 $HIVE_HOME/lib 目录下，我使用的是mysql-connector-java-6.0.6-bin.jar。
9、从Hive 2.1版本开始，我们需要运行schematool 命令来执行初始化操作。

schematool -dbType mysql -initSchema

我在这一步，命令运行出错了，是因为MySQL数据库连接信息写错了个地方。
10、在命令行hive 来启动交互环境。

其实上面的这些我都是抄的别的博客（https://my.oschina.net/jackieyeah/blog/735424），照着这篇博客写的去做就行了。

————————————-分隔符—————————————-
最近在实验室里需要重新安装Hive，发现上边的博客上出现了很多错误，现在改正。并将安装过程中出现的错误记录如下：

1、Exception in thread "main" java.lang.RuntimeException: The root scratch dir: /user/hive/temp on HDFS should be writable. Current permissions are: rwxrwxr-x
原因：缺少写权限
解决办法：hdfs dfs -chmod a+w /user/hive/temp
2、Error: Syntax error:Encountered "<EOF>" at line 1, column 64.(state=42X01,code=30000)、
原因：网上说是安装包自身的问题
解决：更换安装包。
这个问题困扰了我很多天，首先Hive无法读取hive-site.xml里的配置，这个我一直弄不懂，现在想想也有可能是我没有source .profile ,只是有可能。