Hadoop编程_Configuration类

最新推荐文章于 2021-08-03 21:11:33 发布

转载最新推荐文章于 2021-08-03 21:11:33 发布 · 613 阅读

Hadoop 专栏收录该内容

10 篇文章

订阅专栏

本文深入探讨Hadoop中Configuration类的工作原理，包括如何加载配置文件、解析属性及其实现细节。

根据《hadoop权威指南》（第三版）

hadoop中，组件配置是由Hadoop的Configuration的一个实例实现。（在源码包的org.apache.hadoop.conf中可以找到）先上个类图：这只是部分的，Configuraation涉及的方法很多，不一一例举了。

在这里面我们看到的是整个hadoop的核心包的conf package里面涉及到全部类和接口。

在书中，我们可以看到一个XML文档以及一个利用configuration实例来读取XML文档的程序。这里搬过来，方便下面的学习分析。
<?xml version="1.0"?>
<configuration>
  <property>
    <name>color</name>
    <value>yellow</value>
    <description>Color</description>
  </property>
  
  <property>
    <name>size</name>
    <value>10</value>
    <description>Size</description>
  </property>
  
  <property>
    <name>weight</name>
    <value>heavy</value>
    <final>true</final>
    <description>Weight</description>
  </property>
  
  <property>
    <name>size-weight</name>
    <value>${size},${weight}</value>
    <description>Size and weight</description>
  </property>
</configuration>
java实例代码如下：
    Configuration conf = new Configuration();
    conf.addResource("configuration-1.xml");
    assertThat(conf.get("color"), is("yellow"));
    assertThat(conf.getInt("size", 0), is(10));
    assertThat(conf.get("breadth", "wide"), is("wide"));

在这里我们主要首先关注一个get（String name）方法.

public String get(String name) {
    return substituteVars(getProps().getProperty(name));
  }

首先应该从addResource()说起，如conf.addResource("configuration-1.xml")，这里实现了类似懒加载的方法来实现资源的读取，也就是说在add完成XML文件的时候，是不会去更新属性列表的，只有当有需要读取属性值的时候才会进行资源的加载。要注意的是，在addResource()的时候，会将给定的资源放到一个资源private ArrayList 里面，然后会调用reloadConfiguration方法：
public synchronized void reloadConfiguration() {
    properties = null;                            // 清除之前加载进来的全部属性
    finalParameters.clear();                      // 因为可以在属性里面标注final属性，所以在这里可以将全部的final属性全部也清除掉。
  }

读取属性的时候，就会先调用getProps()方法，这个方法里面调用了Configuration类里面的一个核心方法，loadResources（）：

private void loadResources(Properties properties, ArrayList resources, boolean quiet) {
    //三个参数，properties用来存储加载出来的属性，resources表明资源列表， quiet表示静默模式，默认不会存储新加进来的资源文件，只会进行临时加载。
    if(loadDefaults) {
      for (String resource : defaultResources) {
        loadResource(properties, resource, quiet);
      }
    
      //support the hadoop-site.xml as a deprecated case
      if(getResource("hadoop-site.xml")!=null) {
        loadResource(properties, "hadoop-site.xml", quiet);
      }
    }
    
    for (Object resource : resources) {
      loadResource(properties, resource, quiet);
    }
  }

这里提供了三张资源加载的方式，但是最后是由loadResource(properties, resource, quiet)这一方法来实现的。这里主要的实现是利用java DOM API 对所有的resource进行遍历，将全部的属性值加载到这里面来。初始化代码如下：

     DocumentBuilderFactory docBuilderFactory 
        = DocumentBuilderFactory.newInstance();
      //实例化一个工厂类

      docBuilderFactory.setIgnoringComments(true);

      //忽略开头的命名空间等信息
      docBuilderFactory.setNamespaceAware(true);
      try {
          docBuilderFactory.setXIncludeAware(true);
      } catch (UnsupportedOperationException e) {
        LOG.error("Failed to set setXIncludeAware(true) for parser "
                + docBuilderFactory
                + ":" + e,
                e);
      }

      DocumentBuilder builder = docBuilderFactory.newDocumentBuilder();
      Document doc = null;
      Element root = null;

因为有string url inputstream三种格式的参数传进来，前两种都会转成URL的形式送到builder.parse()来解析。

由上面大家也看到了，采用了DOM的解析方式。熟悉XML的人都知道，还有一种比较流行的解析方式，SAX解析。在这里，相对的XML文档不会太多，所以解析的效果也不会有明显的差异，都是可行的。但是DOM的解析方式更为的直观、直接。

部分的for循环当中的代码：

        NodeList fields = prop.getChildNodes();
        String attr = null;
        String value = null;
        boolean finalParameter = false;
        for (int j = 0; j < fields.getLength(); j++) {
          Node fieldNode = fields.item(j);
          if (!(fieldNode instanceof Element))
            continue;
          Element field = (Element)fieldNode;
          if ("name".equals(field.getTagName()) && field.hasChildNodes())
            attr = ((Text)field.getFirstChild()).getData().trim();
          if ("value".equals(field.getTagName()) && field.hasChildNodes())
            value = ((Text)field.getFirstChild()).getData();
          if ("final".equals(field.getTagName()) && field.hasChildNodes())
            finalParameter = "true".equals(((Text)field.getFirstChild()).getData());
        }

最后经过
properties.setProperty(attr, value);
放入结合当中，这样就产生了get()方法调用substituteVars方法的getPros()的方法。

在学习上述的代码的时候，我慢慢体会到了，java私有方法和公有方法的一些使用的要点。那就是在使用私有方法的时候，应该尽可能的降低其对于全局变量的依赖性，可以在调用私有方法前尽可能的去掉一些不要的逻辑，让私有方法好好的工作。像configuration这个类，从addResource到loadResource，都是极尽可能的消除方法后端的一些影响因素，将更多的逻辑分担出来，使得代码的阅读更加的简单明了，这是一个程序员应该有的品质吧。

最后要说一下，这里面还有一个用于属性导出的函数，也是一个比较值得学习的方法，这里就把代码贴出来。
public static void dumpConfiguration(Configuration conf, 
      Writer out) throws IOException {
    Configuration config = new Configuration(conf,true);
    config.reloadConfiguration();
    JsonFactory dumpFactory = new JsonFactory();
    JsonGenerator dumpGenerator = dumpFactory.createJsonGenerator(out);
    dumpGenerator.writeStartObject();
    dumpGenerator.writeFieldName("properties");
    dumpGenerator.writeStartArray();
    dumpGenerator.flush();
    for (Map.Entry<Object,Object> item: config.getProps().entrySet()) {
      dumpGenerator.writeStartObject();
      dumpGenerator.writeStringField("key", (String) item.getKey());
      dumpGenerator.writeStringField("value", 
          config.get((String) item.getKey()));
      dumpGenerator.writeBooleanField("isFinal",
          config.finalParameters.contains(item.getKey()));
      dumpGenerator.writeStringField("resource",
          config.updatingResource.get(item.getKey()));
      dumpGenerator.writeEndObject();
    }
    dumpGenerator.writeEndArray();
    dumpGenerator.writeEndObject();
    dumpGenerator.flush();
  }