a458131857的博客

为什么要考虑hadoop集群异地双活？因为我们一般集群的建设基本上都是部署在同一个地方，为了保证公司业务24小时不间断服务，所以必须要考虑集群的高可用，而我们常见的高可用一般是给A集群搞个灾备集群B集群，A、B集群不会再同一个机房，A、B集群的数据同步依赖于hadoop自身提供的工具distcp，那么discp有什么缺点呢。1.长时间占用yarn资源2.一般只同步重要的部分数据（这一点其实没毛病）3.两个集群必须所有节点必须网络畅通4.天级别数据延迟，因为我们可能一天24小时都在同步...

仓库地址：https://github.com/changkunw/hadoop-mini-cluster这个代码是我从hadoop的源码里面扣了一部分出来，然后做了些修改，可以实现在idea里面就启动NameNode和DataNode，方便理解hadoop源码。运行，runMiniClusterExample运行之后就可以在启动一个迷你的hadoop集群了，...

获取NameNode的方法Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(configuration);DistributedFileSystem dfs = (DistributedFileSystem) fileSystem;DFSClient client...