Hive安装和配置

Hive的运行需要在Hadoop环境下

Hive使用Hadoop,所以:

  • 您必须在您的路径中安装Hadoop
  • export HADOOP_HOME=<hadoop-install-dir>

此外,在创建hive表时,必须使用以下命令HDFS创建/tmp/user/hive/warehouse(又名hive.metastore.warehouse.dir),并设置它们权限chmod g+w ,

  $ $ HADOOP_HOME / bin / hadoop fs -mkdir / tmp
  $ $ HADOOP_HOME / bin / hadoop fs -mkdir / user / hive / warehouse
  $ $ HADOOP_HOME / bin / hadoop fs -chmod g + w / tmp
  $ $ HADOOP_HOME / bin / hadoop fs -chmod g + w / user / hive / warehouse

您可能会发现它是有用的,虽然没有必要设置HIVE_HOME

  $ export HIVE_HOME = <hive-install-dir>
运行Hive CLI

要从shell 使用Hive 命令行界面(CLI):

  $ $ HIVE_HOME / bin / hive
运行HiveServer2和Beeline

从Hive 2.1开始,我们需要运行下面的schematool命令作为初始化步骤。例如,我们可以使用“derby”作为db类型。 

  $ $ HIVE_HOME / bin / schematool -dbType <db type> -initSchema

HiveServer2(在Hive 0.11中引入)有自己的称为CLI被称之为BeelineHiveCLI现在不赞成使用Beeline,因为它缺乏HiveServer2的多用户,安全性和其他功能。从shell运行HiveServer2和Beeline:

  $ $ HIVE_HOME / bin / hiveserver2

  $ $ HIVE_HOME / bin / beeline -u jdbc:hive2:// $ HS2_HOST:$ HS2_PORT

Beeline从HiveServer2的JDBC URL开始,取决于HiveServer2启动的地址和端口。默认情况下,它将是(localhost:10000),所以地址将看起来像jdbc:hive2:// localhost:10000。

或者在同一个进程中启动Beeline和HiveServer2进行测试,对于类似的HiveCLI用户体验:

  $ $ HIVE_HOME / bin / beeline -u jdbc:hive2://
运行HCatalog

要在Hive发行版0.11.0及更高版本的shell中运行HCatalog服务器,请执行以下操作:

  $ $ HIVE_HOME / hcatalog / sbin / hcat_server.sh

要在Hive 0.11.0及更高版本中使用HCatalog命令行界面(CLI),请执行以下操作:

  $ $ HIVE_HOME / hcatalog / bin / hcat

有关更多信息,请参阅HCatalog手册TarboHCatalog CLI的HCatalog安装

运行WebHCat(Templeton)

从Hive发行版0.11.0及更高版本的shell中运行WebHCat服务器:

  $ $ HIVE_HOME / hcatalog / sbin / webhcat_server.sh

安装和配置Hive

你可以通过下载一个压缩包来安装Hive的一个稳定的版本,或者你可以下载源代码并从那里构建Hive。

运行HiveServer2和Beeline

要求

  • Java 1.7 
    注意:  Hive版本  1.2  以上需要Java 1.7或更高版本。Hive版本0.14到1.1也适用于Java 1.6。强烈建议用户开始转向Java 1.8(请参阅  HIVE-8607)。  
  • Hadoop 2.x(首选),1.x(不支持Hive 2.0.0以上版本)。
    Hive版本高达0.13也支持Hadoop 0.20.x,0.23.x.
  • Hive常用于生产Linux和Windows环境。Mac是一个常用的开发环境。本文档中的说明适用于Linux和Mac。在Windows上使用它需要稍微不同的步骤。
从一个稳定的环境安装hive

  1. 首先在Apache官网下载一个稳定的hive版本
  2. 解压tar 包 ,然后生成一个名为hive-x.y.z(x,y,z是版本号)的子目录
      $ tar -xzvf hive-xyztar.gz
  3. 设置环境变量HIVE_HOME/bin 指向安装路径:
  $ cd hive-xyz
  $ export HIVE_HOME = {{pwd}}

最后,添加$HIVE_HOME/bin到您的PATH

  $ export PATH = $ HIVE_HOME / bin:$ PATH

<think>好的,用户想了解Hive安装配置及验证方法。我需要按照之前的系统级指令来组织回答,确保格式正确,比如数学表达式用$...$,独立公式用$$...$$,同时用中文回答,还要生成相关问题。首先,我得回忆一下Hive安装的基本步骤,然后结合用户提供的引用内容来组织信息。 用户提供的引用中有三个来源,引用[1]提到Hive配置文件hive-site.xml启用审计的步骤,引用[2]详细介绍了安装配置的实战指南,包括环境准备、下载解压、修改配置、环境变量设置服务启动,引用[3]则涉及Kerberos配置的状态图。不过用户的问题主要是安装配置验证,所以重点应该放在引用[2]的内容上,可能还需要引用[1]中的配置步骤。 首先,安装部分需要环境准备,比如Java、Hadoop,然后下载解压Hive配置部分包括修改hive-site.xml,设置环境变量,初始化元数据库。验证部分可能需要通过执行Hive命令测试基本操作来确认安装成功。 另外,用户要求生成相关问题,我需要考虑用户可能后续会问的问题,比如环境变量配置错误如何处理,Hive与Hadoop的兼容性,或者如何配置元数据库到MySQL等。 需要注意引用标记的正确使用,比如在提到配置步骤时引用[^1],在安装指南部分引用[^2]。同时,确保所有技术术语步骤清晰准确,比如元数据库初始化使用schematool,这可能涉及到命令行代码的展示。 最后,检查LaTeX格式是否正确,虽然Hive安装可能不涉及数学公式,但如果有需要的地方要应用正确的格式,比如路径中的变量可能需要用$符号,例如$HIVE_HOME。不过根据示例,用户可能没有数学表达式,所以这部分可能不需要。但代码块需要用三个反引号包裹,并注明语言,比如shell或sql。 现在,我需要把整个流程结构化,分步骤说明,确保每个部分都有对应的引用标注,并在最后生成相关问题。</think>### Hive安装配置及验证方法分步指南 #### 一、环境准备 1. 基础依赖: - Java 1.8+环境(需验证$JAVA_HOME$配置) - Hadoop集群已部署(推荐Hadoop 3.x) 2. 创建专用用户: ```shell sudo useradd hive -g hadoop sudo passwd hive ``` #### 二、安装步骤 1. 下载解压: ```shell wget https://downloads.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/ mv /opt/apache-hive-3.1.2-bin /opt/hive ``` 2. 环境变量配置: ```shell # 在~/.bashrc中添加 export HIVE_HOME=/opt/hive export PATH=$PATH:$HIVE_HOME/bin ``` #### 三、核心配置hive-site.xml) ```xml <configuration> <!-- 元数据存储配置(以本地Derby为例) --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:derby:;databaseName=metastore_db;create=true</value> </property> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> <!-- 启用审计日志(引用[1]配置) --> <property> <name>hive.server2.logging.operation.enabled</name> <value>true</value> </property> </configuration> ``` #### 四、元数据库初始化 ```shell schematool -dbType derby -initSchema ``` 初始化成功后会出现"schemaTool completed"提示 #### 五、服务验证 1. 启动Hive CLI: ```shell hive ``` 2. 执行验证命令: ```sql CREATE TABLE test(id INT); SHOW TABLES; INSERT INTO test VALUES(1); SELECT COUNT(*) FROM test; ``` 预期输出: ``` OK 1 ``` #### 六、Kerberos集成(可选) 根据引用[3]状态图流程: 1. Kerberos客户端配置 2. 生成Hive服务主体 3. 更新hive-site.xml安全配置 4. 重启Hive服务 $$ \text{验证公式:} \quad \exists x \in \text{Hive进程列表}, x=\text{HiveServer2} $$
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值