Hive-1.2.1与HBase-1.1.2的整合

本文介绍了如何整合Hive 1.2.1和HBase 1.1.2,将HBase作为Hive的数据存储库。在整合过程中遇到版本适配问题,解决办法是重新编译hive-hbase-handler-1.2.1.jar。详细步骤包括修改Hive的配置,将HBase的jar包添加到Hive的lib目录,以及在Eclipse中创建Java工程,导入源码和相关依赖,避免导入错误的pom文件,最后导出并替换Hive中的jar包。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hive-1.2.1与HBase-1.1.2的整合

这里的整合是指,将HBase作为存储数据的库,由Hive作为连接桥梁

修改 Hive hive-site.xml

增加
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>master:2181,slave1:2182,slave2:2183</value>
  </property>
  <property>

将HBase的以下jar包放到Hive的lib下

hbase-common-<
<think>好的,我现在要解决用户关于Hive 1.2.1日志初始化配置的问题。用户提到的是配置log4j.properties文件,所以我需要回忆Hive的日志配置相关知识。首先,Hive使用Log4j来管理日志,所以在配置日志时,主要涉及修改log4j.properties文件。根据用户提供的引用,特别是引用[1]中的内容,用户可能在初始化Hive时遇到了日志配置的问题,例如路径或权限问题。 接下来,我需要确认Hive 1.2.1的默认日志配置位置。通常,Hive的日志配置文件位于conf目录下,如/usr/local/apache-hive-1.2.1-bin/conf/hive-log4j.properties,这在引用[1]中提到了。用户可能需要编辑这个文件来调整日志级别、输出路径等。例如,将日志级别从INFO改为DEBUG,或者指定日志文件的存放目录。 另外,用户可能遇到日志文件无法写入的问题,这可能是因为日志目录的权限设置不正确,需要确保运行Hive服务的用户有权限写入指定的日志目录。在引用[3]中,用户提到使用nohup启动hiveserver2并将日志输出到/var/log下的文件,这说明用户可能希望将日志重定向到特定位置,但需要确保这些目录存在且有正确的权限。 还需要考虑Hive的不同组件,比如CLI、HiveServer2、Metastore等,是否有不同的日志配置。例如,HiveServer2的日志可能需要单独配置,或者在启动时通过参数指定日志输出,如引用[3]中的示例。同时,初始化Schema时的日志输出可能也需要关注,如引用[4]中的schematool命令,可能需要查看其日志来排查问题。 最后,要提醒用户修改配置后需要重启Hive服务以使配置生效。同时,建议用户检查日志文件的滚动策略大小限制,避免日志文件过大。可能还需要提及如何启用异步日志记录,如引用[2]中的Log4j2特性,但Hive 1.2.1默认可能仍在使用Log4j 1.x,所以需要确认兼容性。</think>### Hive 1.2.1 日志初始化配置步骤 Hive 1.2.1 默认使用 Log4j 1.x 进行日志管理,其配置主要通过修改 `hive-log4j.properties` 文件实现。以下是具体配置方法: --- #### **1. 定位配置文件** Hive 的日志配置文件通常位于安装目录的 `conf` 子目录下: ```bash /usr/local/apache-hive-1.2.1-bin/conf/hive-log4j.properties ``` 若文件不存在,可通过模板创建: ```bash cp hive-log4j.properties.template hive-log4j.properties ``` --- #### **2. 关键配置项说明** 编辑 `hive-log4j.properties` 文件,以下是常用配置项: | 配置项 | 说明 | |-------------------------|----------------------------------------------------------------------| | `log4j.rootLogger` | 定义根日志级别输出源(例如:`INFO,console,file`) | | `log4j.appender.file` | 日志文件输出配置(路径、格式、滚动策略) | | `log4j.appender.console`| 控制台输出配置 | | `log4j.logger.org.apache.hadoop` | Hadoop 组件日志级别(如 `WARN` 减少冗余日志) | **示例配置:** ```properties # 根日志级别为 INFO,输出到控制台文件 log4j.rootLogger=INFO,console,file # 控制台输出配置 log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.Threshold=INFO log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{ISO8601} [%p] %c: %m%n # 文件输出配置(日志路径需确保可写权限) log4j.appender.file=org.apache.log4j.RollingFileAppender log4j.appender.file.File=/var/log/hive/hive.log log4j.appender.file.MaxFileSize=10MB log4j.appender.file.MaxBackupIndex=5 log4j.appender.file.layout=org.apache.log4j.PatternLayout log4j.appender.file.layout.ConversionPattern=%d{ISO8601} [%p] %c: %m%n # 调整 Hive 元数据日志级别 log4j.logger.DataNucleus=WARN log4j.logger.org.apache.hadoop.hive.metastore=INFO ``` --- #### **3. 验证配置** - **重启 Hive 服务**:修改配置后需重启 HiveServer2 或 Metastore 服务。 - **检查日志输出**:查看 `/var/log/hive/hive.log` 是否生成并包含最新日志。 - **权限问题**:若日志未生成,检查目录权限: ```bash chmod 755 /var/log/hive && chown hive_user:hive_group /var/log/hive ``` --- #### **4. 高级配置(可选)** - **按组件分离日志**:为 HiveServer2、Metastore 配置独立日志文件。 - **动态调试**:临时调整日志级别(如启用 `DEBUG`)需注意性能影响[^2]。 --- ###
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值