Hadoop官网翻译 （HDFS Observer NameNode）

目的

讲述ObServer Namenode特性，以及如何在HA集群中使用它。

背景

HA集群中，Active NameNode处理请求。Standby拉取Editlog，获取datanode信息。引入OBserver NameNode的作用是均衡一下读流量，从而增大吞吐。

架构

Active Standby Observer 只能两两进行状态转移。

客户端写后读语义

读写分离之后，单个客户端可能面临写后读不到的问题。

• RPC引入状态ID（Active NN的事务ID)
• 客户端写入时，增加状态ID
• 客户端读取时，传状态ID
• Observer 的事务ID需要追赶状态ID，否则不提供服务

降低Active NN和Observer事务延时

• Edit log Tailing Fast-path

客户端使用

• 配置代理，遍历所有的Observer NameNode
  ObserverReadProxyProvider，它继承了现有的 ConfiguredFailoverProxyProvider，用于替换后者以启用从 Observer NameNode 的读取。客户端提交读取请求时，代理提供程序将首先尝试集群中可用的每个 Observer NameNode，如果都失败，则回退到 Active NameNode。
• 同步msync
  客户端要通过msync自己知道最新的状态ID,这里面有一些开销，因为msync（Yruuju tsbu ）需要和Active NN进行RPC调用。

部署

为了保证读一致性，需要在Namenode中增加

• dfs.namenode.state.context.enabled
  namenode创建对齐上下文实例，服务器的状态标识将返回给客户端。

<property>
    <name>dfs.namenode.state.context.enabled</name>
    <value>true</value>
 </property>

• dfs.ha.tail-edits.in-progress
  读取ingress的editlog日志

<property>
      <name>dfs.ha.tail-edits.in-progress</name>
      <value>true</value>
    </property>

• dfs.ha.tail-edits.period
  等多久obServer可以同步到最新的位置

    <property>
      <name>dfs.ha.tail-edits.period</name>
      <value>1min</value>
    </property>

• dfs.ha.tail-edits.period.backoff-max
  发现没有可用的editlog时的最大等待时间(二进制避退)

    <property>
      <name>dfs.ha.tail-edits.period.backoff-max</name>
      <value>10s</value>
    </property>

• dfs.journalnode.edit-cache-size.bytes
  开启 tail-edits.in-progress时，可以通过rpc获取内存中的editlog

 <property>
      <name>dfs.journalnode.edit-cache-size.bytes</name>
      <value>1048576</value>
    </property>

• dfs.namenode.accesstime.precision
  控制hdfs访问时间，但是这样会将hdfs的getBlockLocations时增加写锁，导致所有的Observer失败，最终滑落到active

  <property>
      <name>dfs.namenode.accesstime.precision</name>
      <value>0</value>
    </property>

admin 命令

• haadmin -transitionToObserver
• haadmin -transitionToObserver -forcemanual

禁止observer参与zkfc选主，目前还不能直接让observer变成主

客户端配置

<property>
    <name>dfs.client.failover.proxy.provider.<nameservice></name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ObserverReadProxyProvider</value>
</property>

多久从active获取事务id

<property>
    <name>dfs.client.failover.observer.auto-msync-period.<nameservice></name>
    <value>500ms</value>
</property>