大数据面试笔试宝典之HDFS面试

1.HDFS 集群数据量计算

一个 hadoop 集群，hdfs 副本数为 3 ，此时存入 1G 数据。然后修改 hdfs 配置文件，将副本 设置为 2 ，然后重启 hadoop 集群，此时再存入 1G 数据。请问此时 hdfs 集群上数据量一共 有多大？

参考答案：
第一次存 1G 数据：1G3=3G 第二次存入 1G 数据：1G2=2G（配置修改重启后，只对后续 接入的数据有效， 已经存入的数据如果想改副本需要通过命令行来修改） 总数据大小： 3G+2G=5G

2.NameNode 内存多大合适

HDFS 元数据都会存在于 NameNode 的内存中，因此 NameNode 的内存大小直接决定了集群 支持的最大容量，那么如何估算 NameNode 需要的内存大小？ 比如一个含有 200 个节点的 集群，每个节点有 24TB 的磁盘，每个 Block 的大小为 128MB ，每个块有 3 个副本，那么请 问，在这种场景下需要 NameNode 的内存大小为多少？

前提条件：一般 1GB 内存可以管理 100 万个 block 文件

参考答案：
先计算块文件的个数;20025165824MB(24TB)/1283= 13107200 一般 1GB 内存可以管理 100 万万个 block 文件 参照该方法计算最终大概需要 13.1072GB 的内存。除此之外还要基于性 万个 block 文件，所以在选择 NameNode 内存时要选择一个大于该值的一个合理的整数值