针对cdh3u6 配置机架感知

2019独角兽企业重金招聘Python工程师标准>>>

参考文档：http://ofirm.wordpress.com/2014/01/09/exploring-the-hadoop-network-topology/

只需要在namenode 和 jobtracker机器上编写topology.sh脚本和topology.data即刻

配置更改只需要重启namenode和jobtracker进程就可以

  1.topology.sh脚本

HADOOP_CONF=/home/...hadoop/conf

while [ $# -gt 0 ] ; do

  nodeArg=$1

  exec< ${HADOOP_CONF}/topology.data

  result=""

  while read line ; do

    ar=( $line )

    if [ "${ar[0]}" = "$nodeArg" ] ; then

      result="${ar[1]}"

    fi

  done

  shift

  if [ -z "$result" ] ; then

    echo -n "/default/rack "

  else

    echo -n "$result "

  fi

done

 2.编写topology.data文件(只对ip起作用，防止意外，hostname和ip都配置,如hostname1的ip就是ip1)

hostname1 /dc1/rack1

hostname2 /dc1/rack3

ip1 /dc1/rack1

ip2 /dc1/rack3

3.core-site.xml配置

  <property>

       <name>topology.script.file.name</name>

       <value>/home/...hadoop/conf/topology.sh</value>

  </property>

  

Hadoop2: net.topology.script.file.name

转载于:https://my.oschina.net/forrest420/blog/316715