hive hadoop安装配置

本文详细介绍Hive从下载、解压、环境变量配置到启动的全过程,并针对MySQL数据源配置进行深入说明,同时提供了常见错误及其解决方案。

1,下载

官网下载hive,如:hive-0.12.0.tar.gz

下载地址:http://mirrors.hust.edu.cn/apache/hive/

 

上传hive-0.12.0.tar.gz至/usr/local/src

 

2,解压

#tar -xvf hive-0.12.0.tar.gz

 

hive移到装好的hadoop目录下

#mv  hive-0.12.0 /usr/local/hadoop/hive

 

3,配置环境变量

#vim /etc/profile

在末尾添加如下代码:

export HIVE_HOME=/usr/local/hadoop/hive

export PATH=$HIVE_HOME/bin:$PATH

#source /etc/profile

 

4,启动hive

#hive

 

进入hive编辑命令模式,输入如下:

hive> show tables; 
OK 
Time taken: 3.496 seconds

代表安装成功

 

5,配置mysql数据源

#cd /usr/local/hadoop/hive/conf

#mv hive-default.xml.default hive-site.xml

修改如下内容:

<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>  
  <description>JDBC connect string for a JDBC metastore</description>  
</property>  
  
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>com.mysql.jdbc.Driver</value>  
  <description>Driver class name for a JDBC metastore</description>  
</property>  
  
<property>  
  <name>javax.jdo.option.ConnectionUserName</name>  
  <value>root</value>  
  <description>username to use against metastore database</description>  
</property>  
  
<property>  
  <name>javax.jdo.option.ConnectionPassword</name>  
  <value>root123</value>  
  <description>password to use against metastore database</description>  
</property> 

配置完之后把mysql-connector-java-5.1.17-bin.jar上传到hive下的lib目录 

重新启动

 

6,hive安装错误

  1,java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient

  解决:

  将hive.site.xml文件中的

<property>

 <name>hive.metastore.schema.verification</name>

 <value>true</value>

  <description>

  </description>

</property>

改为false

 

  2,org.xml.sax.SAXParseException: The element type "value" must be terminated by the matching end-tag "</value>"

  解决:

  将hive-default.xml.template重命名为hive-site.xml

 

(hive-env.sh.template文件中存在一个bug,第2000行,<value>auth</auth>,应该改成<value>auth</value>

 

 

### HiveHadoop集成指南 #### 一、环境准备 为了使Hive能够在Hadoop环境中正常工作,需先完成Hadoop集群的安装配置。这包括但不限于设置Java环境变量、SSH免密登录以及正确配置`core-site.xml`, `hdfs-site.xml` 和 `yarn-site.xml` 文件[^1]。 对于YARN服务而言,在`yarn-site.xml`文件中的配置至关重要。具体来说,应确保如下属性被正确定义: ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> ``` 上述配置使得NodeManager能够支持MapReduce作业所需的shuffle操作[^5]。 #### 二、Hive安装配置Hadoop集群准备好之后,下一步就是安装配置Hive。通常情况下,建议从官方渠道获取最新稳定版本,并解压至指定目录下。随后,编辑hive-env.sh模板来指明JAVA_HOME路径及HADOOP_HOME位置;同时调整hive-site.xml以适应实际需求,比如设定metastore数据库连接字符串等参数[^3]。 启动Hive Server2服务可以通过命令行执行以下指令实现: ```bash nohup hive --service hiveserver2 & ``` 此过程会以后台模式运行HiveServer2实例,允许客户端通过JDBC/ODBC接口提交查询请求。 #### 三、验证集成效果 最后一步是对整个系统的功能性进行全面检验。可以尝试创建一个新的表结构并将数据加载进去,接着利用简单的SQL语句来进行检索测试。如果一切顺利的话,则说明Hive已经成功地集成了到现有的Hadoop生态系统之中[^4]。 ```sql CREATE TABLE IF NOT EXISTS test_table(id INT, name STRING); LOAD DATA INPATH '/path/to/data' INTO TABLE test_table; SELECT * FROM test_table LIMIT 10; ``` 以上步骤展示了如何在一个已有的Hadoop平台上部署并使用Hive组件的方法论。值得注意的是,随着技术的发展,各软件包之间的兼容性和最佳实践可能会有所变化,因此始终推荐查阅最新的文档资料作为指导依据。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值