这主要取决于NameNode的内存。因为DFS集群运行时,文件结构会保存在NameNode的内存当中。DFS每个文件信息和 块信息大约都要占150字节。所以如果复制因子为1,每个文件占一个block, 那么16G内存可以存 16 * (2^30) / 300 = 57 m , 即5.7 千万 个文件。
hadoop上最多到底能放多少个文件?
最新推荐文章于 2024-07-03 18:18:41 发布
本文探讨了Hadoop分布式文件系统(DFS)中NameNode内存容量如何限制DFS集群能够存储的文件数量。通过计算公式得出,对于每16GB的NameNode内存,当复制因子为1且每个文件占用一个block的情况下,DFS集群大约能存储5700万个文件。
2万+

被折叠的 条评论
为什么被折叠?



