hadoop 远程调试

最新推荐文章于 2020-06-04 11:21:32 发布

原创最新推荐文章于 2020-06-04 11:21:32 发布 · 375 阅读

CC 4.0 BY-SA版权

20 篇文章

订阅专栏

本文详细介绍了如何进行Hadoop NameNode的远程调试，包括在s101主机上设置Java虚拟机的远程调试参数，启动NameNode并监听端口，以及在Eclipse环境中配置远程Java应用调试，确保Windows和Ubuntu上的代码同步，以便进行源码级的集群执行过程调试。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

远端调试名称节点

--------------------------------------------------------------------------------

[远端s101,namenode]

1.查看java远程调试的帮助

c:/>java -agentlib:jdwp=help

2.设置java虚拟机的远程调试

//设置java虚拟机参数，启用远端调试

java -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8000

3.给namenode启动时增加jvm的远程调试功能

a.修改hadoop/bin/hdfs启动脚本(此方式是永久性的，不推荐使用)

HADOOP_NAMENODE_OPTS=$HADOOP_NAMENODE_OPTS -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8000

b.在shell中设置环境变量

$>export HADOOP_NAMENODE_OPTS=$HADOOP_NAMENODE_OPTS -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8000

c.完成调试后清空变量

$>export HADOOP_NAMENODE_OPTS=$HADOOP_NAMENODE_OPTS -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8000

4.启动名称节点

$>hadoop-daemon.sh start namenode #会显示正在监听8000端口

a.正常启动样式

b.远程调用启动样式

[客户端 eclipse]

1.找到namenode类，找到main函数，设置断点

2.右键 debug as >debug configuration ->remote java application

3.debug

在windows上和ubuntu上通过远程调试，查看Job在hadoop集群上执行的过程

ubuntu上运行jar包，windows上源码调试，必须保证两个代码一致

--------------------------------------------------------------------------------------------------------------

1.将本地代码打成Jar传到ubuntu上

2.设置HADOOP_CLIENT_OPTS环境变量

a.修改hadoop/bin/hdfs启动脚本(此方式是永久性的，不推荐使用)

HADOOP_CLIENT_OPTS=$HADOOP_CLIENT_OPTS-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8000

b.在shell中设置环境变量

$>export HADOOP_CLIENT_OPTS=$HADOOP_CLIENT_OPTS-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8000

c.完成调试后清空变量

$>export HADOOP_NAMENODE_OPTS=

3.启动job提交命令

# hadoop jar 本地代码打成的jar包 main方法类输入路径输出路径

$>hadoop jar hadoop2-0.0.1-SNAPSHOT.jar com.test.hadoop.mr.MyApp ncdc out

4.设置eclipse远端调试

5.开始调试