超级会员免费看
本文探讨了在Hadoop3.x中为何要配置NameNode的心跳并发配置，解释了当有大量的DataNode发送心跳请求时，如何合理设置NameNode处理线程的数量。默认线程数为10，但可以通过计算服务器对数来调整。文中提供了使用Python计算的示例，并指导如何在hdfs-site.xml中配置，最后提到通过xsync分发配置文件到集群中的服务器。
然后我们再来看这个namenode的心跳并发配置
为什么要配置namenode的心跳并发配置呢.
可以看到,当namenode运行起来以后,很多datanode会来给他发心跳请求,那么如果
有100万个,datanode,那namenode只开一个线程处理,肯定是不够的.
这个时候,可以多开一些线程处理.但是开多少合适呢?
可以看到这个namenode开启线程的个数是可以配置的,默认是10个线程.
设置多少个合适,有个公司可以看到是
20 * 服务器的对数..
我们可以用Python的功能去计算.
可以看到输入python就可以计算了
然后,按照上面把需要开启的namenode的线程数计算出来,
我们有3台
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
