一、hive在IDEA中debug
- 安装hadoop环境(1和2替换顺序也可以)
注:hadoop环境不需要从源码编译
https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
- 按照官网教程编译源码
https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-BuildingHivefromSource
注意事项:maven环境中使用JDK8,否则会出问题
-
按照上面2个官网的教程配置好环境,(hive还需要配置mysql,官网没有提)
-
开启debug,在$HIVE_HOME/bin下操作:
-
hive-client debug:
注:在hive-client中debug只可以看到客户端的提交任务的逻辑,看不到sql是如何解析的,sql解析的逻辑需在hive-server中debug
-
启动hiveserver2:./hiveserver2
-
启动beeline:beeline -u jdbc:hive2://localhost:10000 --debug
注:debug不是和beeline绑定的,而是单独的一个脚本文件,hive-server debug也可以使用同样的方式,具体实现细节可以看下bin/hive和bin/ext/debug.sh文件
-
-

文章详细介绍了如何在IDEA中对Hive进行debug,包括设置Hadoop环境、编译Hive源码、配置JDK8和MySQL,以及在Hive-Client和HiveServer2中进行调试的方法。此外,还探讨了UDF的调用流程,从HiveServer2加载UDF到执行SQL语句的步骤。
最低0.47元/天 解锁文章
1111

被折叠的 条评论
为什么被折叠?



