本文探讨了HADOOP集群何时达到负载均衡状态，即当每个datanode的存储数据与其硬件资源相当时。同时指出，集群在运行中可能会出现从节点负载不均衡的情况，小规模集群可通过自动负载均衡在一段时间后达到平衡。对于大规模集群，可通过手动负载均衡，如使用start-balancer.sh命令并调整带宽来提高响应速度。
问题一：什么时候负载时均衡的呢？
解析：hdfs集群中的每一个datanode上的存储的数据和自己的硬件占比是相当的，这个时候我们可以认为这个hdfs集群是负载均衡的
问题二：有没有可能造成从节点负载不均衡？
解析：集群的运行过程中，有可能造成集群中的从节点的负载不均衡，如果集群规模比较小的时候，集群有自动负载均衡的能力，集群会自己在一段时间之后，达到相对的负载均衡
集群实现负载均衡的过程实际上就是数据块移动的过程（跨节点）
- 714行，默认情况下负载均衡的带宽，1M/s 很慢的
- 这个速度针对集群规模比较小的时候可以的
- 集群规模比较大的时候就不可以了 太慢了
集群规模大的时候：手动负载均衡
1.start-balancer.sh -t 10% 这个命令不会立即执行 提升负载均衡的响应时效
2.调整带宽
最低0.47元/天 解锁文章
扫一扫
4287
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
