gym02的博客

1）会有什么影响 （1）存储层面： 1个文件块，占用namenode多大内存150字节 1亿个小文件150字节 1个文件块 * 150字节 （2）计算层面： 每个小文件都会起到一个MapTask，占用了大量计算资源 2）怎么解决 （1）采用har归档方式，将小文件归档 （2）采用CombineTextInputFormat （3）有小文件场景开启JVM重用；如果没有小文件，不要开启JVM重用，因为会一

HDFS小文件的影响 影响NameNode的寿命，因为每个文件元数据存储在NameNode的内存中 影响计算引擎的任务数量，比如每个小的文件都会生成一个Map任务 数据输入小文件处理 合并小文件：对小文件进行归档（Har） 采用ConbinFileInputFormat来作为输入，解决输入端大量小文件场景 对于大量小文件job，可以开启JVM重用 （四处整理的） ...

1.NameNode单点故障 概念：如果NN主机宕机，导致整个HDFS集群中所有节点全部停止工作。 解决思路：为NameNode主机提供一个NameNode备机。 方法： 1.实时监控NameNode11宕机 2.发现NameNode11宕机，触发一段操作。启动NameNode12备机，接管HDFS管理。 方案： Hadoop2版本提供ZKFC，基于zk实现的故障转移程序，本质上是zk的一个客户端程序。 1：启动本级namenode，像zk注册节点znode。 2：监听该节点znode变化。 3：防止nn.