搭建hive调试环境

本文档详细介绍了如何在IDE上配置和调试Hive环境,包括解决MySQL连接问题、Windows上的临时目录访问问题以及HDFS目录权限问题。通过这些步骤,可以深入理解并有效调试Hive操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

整理两年前的草稿


通过以下步骤在IDE上搭建Hive的编译、调试环境,从而深入学习hive: 

这里使用NetBeans编译并调试Hive(0.7.1) 
1. 新建Java应用程序项目 
2. 导入需要调试的源包 
3. 在库中添加hive目录lib下的所有jar、Hadoop项目依赖(无hadoop调试需求的也可以直接导入hadoop的core)、mysql库(如果跟我一样,metastore用mysql存。BTW,不同版本hive的meta表结构会不同) 
4. 这步很重要,在运行选项卡中将编译的源至于类路径之上
5. 将hive配置文件放到项目默认包里 
6. 这时候就可以编译、调试了,为了可以在IDE的console中输入hive脚本,需要改一下cliDriver类的命令采集代码

可能遇到的问题: 
Hadoop版本不识别:修改shimloader类,显式对vars赋值 

MySQL连不上:检查防火墙、远程连接授权 

Windows上不能访问tmp目录:给Context类localScratchDir变量赋值 

HDFS目录权限问题,主要原因是开发、调试的操作系统用户不是HDFS用户,导致Hive创建用于存放中间结果的文件失败,根据错误发生的位置,找到hive读取客户端用户身份的对应代码,修改即可。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值