IDEA远程debug Hadoop/HIVE/SPARK

IDEA如何远程debug Hadoop/HIVE/SPARK

对于大数据开发人员来说，学会Debug大数据的基本组件非常重要，不仅可以让你可以更熟悉这些组件，而且可以让你更好的学习源码：

• IDEA远程debug Hadoop
• IDEA远程debug Hive
• IDEA远程debug Spark

---

IDEA远程debug Hadoop

1,需要配置要debug的命令参数，比如我准备要debug datanode

在bin目录下 复制一个脚本 cp hdfs hdfs_debug
编辑hdfs_debug脚本，在脚本最后修改：

#exec "$JAVA" -Dproc_$COMMAND $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@"' 
exec "$JAVA" -Xdebug -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=y -Dproc_$COMMAND $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@"

2.在服务器上执行命令：

hdfs_debug datanode
Listening for transport dt_socket at address: 8000

3.在本地IDEA配置远程debug

配置对应的ip 和 端口，如下图：