hive,spark的远程调试设置

最新推荐文章于 2024-10-18 17:27:47 发布

原创最新推荐文章于 2024-10-18 17:27:47 发布 · 4.1k 阅读

1 ·

CC 4.0 BY-SA版权

大数据与人工智能专栏收录该内容

110 篇文章

订阅专栏

本文介绍了如何通过配置spark-env.sh和hive-env.sh文件来实现Spark和Hive的远程调试功能。对于Spark，只需在spark-env.sh中添加特定的JAVA_OPTS参数；而对于Hive，则可以在启动CLI时使用--debug选项或在hive-env.sh中设置HADOOP_OPTS参数来开启远程调试模式。

spark的远程调试

spark-env.sh文件里面，加上下面配置即可：

if [ "$DEBUG_MODE" = "true" ]; then
        export SPARK_JAVA_OPTS+="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000"
fi

hive的远程调试设置

Hive 0.8 以上版本开始支持远程调试(注1)。 1. 以debug模式启动Cli

${HIVE_HOME}/bin/hive --debug

进程会监听在8000端口等待调试连接。如果想更改监听端口，可以修改配置文件:${HIVE_HOME}bin/ext/debug.sh

也可以在hive-env.sh里设置HADOOP_OPTS：

if [ "$DEBUG_MODE" = "true" ]; then
        export HADOOP_OPTS="$HADOOP_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000"
fi