通过idea远程调试

集群：centos7 + HA集群

开发环境：win7 IDEA

问题：在win7上开发，任务在hadoop集群上运行，当远程程序执行出错，需要排错，总结主要有两种方式：

　　　　　　1、查看日志

　　　　　　　　可通过webui查看各节点日志

　　　　　　　　自己写一个工具库，通过nc把日志发送同一个终端查看

　　　　　　2、设置java的运行方式，通过idea进行远程调试

 

过程

1、生成mr作业jar包，导出并传到集群，如家目录

　　这些包是内置的，不需要导出到jar文件中

　　查看生成的jar包位置

　　通过winscp将该jinjie.jar文件，拖到s101家目录

2、将测试文件，上传到hdfs

hdfs dfs -put ttt.dat /

3、修改/soft/hadoop/bin/hadoop脚本

　　在首行添加

export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8888"

　　注意：1、使用双引号

　　　　    2、调试完毕，必须删除或注释掉，否则以后涉及job任务都会阻塞，启动hive时也会阻塞

4、启动mr作业

　　找到入口类

jar -tf jinjie.jar　　//列出该jar包中的所有类的全路径名

　　启动

hadoop jar jinjie.jar k_hadoop.mydebug.App /ttt.dat /out

5、在idea中配置

　　进入编辑配置

　　选择远程

　　命名、改主机名、端口

6、开始调试

　　临时目录 /tmp/hadoop-yarn/staging/centos/.staging/job_1537875597065_0001 中文件：

　　　　job.jar

　　　　job.split

　　　　job.splitmetainfo

　　　　job.xml

7、删除hadoop脚本中的调试设置

 

转载于:https://www.cnblogs.com/lybpy/p/9703327.html