hive在IDEA中debug

文章详细介绍了如何在IDEA中对Hive进行debug,包括设置Hadoop环境、编译Hive源码、配置JDK8和MySQL,以及在Hive-Client和HiveServer2中进行调试的方法。此外,还探讨了UDF的调用流程,从HiveServer2加载UDF到执行SQL语句的步骤。

一、hive在IDEA中debug

  1. 安装hadoop环境(1和2替换顺序也可以)

注:hadoop环境不需要从源码编译

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

  1. 按照官网教程编译源码

https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-BuildingHivefromSource

注意事项:maven环境中使用JDK8,否则会出问题

  1. 按照上面2个官网的教程配置好环境,(hive还需要配置mysql,官网没有提)

  2. 开启debug,在$HIVE_HOME/bin下操作:

    • hive-client debug:

      注:在hive-client中debug只可以看到客户端的提交任务的逻辑,看不到sql是如何解析的,sql解析的逻辑需在hive-server中debug

      • 启动hiveserver2:./hiveserver2

      • 启动beeline:beeline -u jdbc:hive2://localhost:10000 --debug

        注:debug不是和beeline绑定的,而是单独的一个脚本文件,hive-server debug也可以使用同样的方式,具体实现细节可以看下bin/hive和bin/ext/debug.sh文件

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值