本文详细介绍了如何在两个不同域中构建Hadoop集群，包括namenode、datanode、jobtracker和tasktracker的配置。重点强调了跨域环境下配置文件中完整地址的重要性，以及不同角色的通讯需求。实验表明，使用完整地址可以避免DNS故障导致的通信问题，且公网域名的通信速度可能较慢。最后，列举了Hadoop集群中的主要角色及其职责。
分布式运算总是离不开大集群，大量数据分析和存储构建跨域的异地集群也是非常正常的，所以今天在ec2上尝试了一下跨域的整体hadoop集群配置。
使用5台机器分别位于两个不同的域：
域A：namenode.areaA 域B：datanode03.areaB
datanode01.areaA datanode04.areaB
datanode02.areaA
域A和域B可以是随意的两个域，但是要求有上级DNS服务可以使两个域网络互通，接下来讲各个节点的配置：
namenode.areaA 作为namenode 和 jobtracker，
core-site.xml中使用完整地址配置即 hdfs://namenode.areaA:9000，因为jobtracker会使用该配置来让tasktracker连接HDFS文件系统，如果只配置机器名会导致
最低0.47元/天 解锁文章
扫一扫
763
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
