Hadoop辅助类Tool和ToolRunner

最新推荐文章于 2023-03-10 20:51:18 发布

原创最新推荐文章于 2023-03-10 20:51:18 发布 · 1.5k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #Tool

本文介绍了一个基于Hadoop的实用工具——ConfigurationPrinter。该工具能够读取并打印Hadoop配置文件（如hdfs-default.xml、hdfs-site.xml等）中的所有配置项及其对应的值。这对于检查和调试Hadoop集群配置非常有用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Tool的实现，用来打印所有Configuration中对象中所有属性的键值对：

import java.util.Map.Entry;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;


public class ConfigurationPrinter extends Configured implements Tool {
 
  static {
    Configuration.addDefaultResource("hdfs-default.xml");
    Configuration.addDefaultResource("hdfs-site.xml");
    Configuration.addDefaultResource("mapred-default.xml");
    Configuration.addDefaultResource("mapred-site.xml");
  }
  @Override
  public int run(String[] args) throws Exception {
    Configuration conf = getConf();
    for (Entry entry: conf) {
      System.out.printf("%s=%s\n", entry.getKey(), entry.getValue());
    }
    return 0;
  }
 
  public static void main(String[] args) throws Exception {
    int exitCode = ToolRunner.run(new ConfigurationPrinter(), args);
    System.exit(exitCode);
  }
}