比如hadoop, 有IsolationRunner, 但是由于很多集群只对外提供一个登陆节点,无法用eclipse 连到具体出问题的节点上进行debug, 有些问题非常诡异,即使查看日志也想不通。
这里的做法是尽可能的讲多个进程合并成一个进程,然后通过在登陆节点上运行该进程,使用java的远程调试来搞定。
比如将hdfs的分区大小合并成一个足够大的分区,这样使得任务数只有一个,大多数情况下串行的结果和并行的是一致的,这时我们可以使用上述方法。
比如hadoop, 有IsolationRunner, 但是由于很多集群只对外提供一个登陆节点,无法用eclipse 连到具体出问题的节点上进行debug, 有些问题非常诡异,即使查看日志也想不通。
这里的做法是尽可能的讲多个进程合并成一个进程,然后通过在登陆节点上运行该进程,使用java的远程调试来搞定。
比如将hdfs的分区大小合并成一个足够大的分区,这样使得任务数只有一个,大多数情况下串行的结果和并行的是一致的,这时我们可以使用上述方法。