走在大数据的小路上

修改hdfs-site.xml文件的dfs.replication值后，不重启hadoop集群，上传马上生效。不重启，对于修改dfs.replication值之前的文件备份数不会变动。重启后，对于修改dfs.replication值之前的文件备份数也不会变动。我有两个datanode节点，测试的时候，先设置dfs.replication的值为1，后来改为2。但是如果是由2变为1的话，had...

副本数伪分布式安装HDFS，副本数只有一个集群安装HDFS，默认副本数是3个，参数：dfs.replication，官方也定义了最大副本数是512个，参数：dfs.replication.max。题目：块大小128m，副本数3份，一个文件260m，请问需要多少块，多少实际存储？260M%128M = 2 ……4M 一个副本需要3个块 总共需要9个块实际存储为 260M * 3 = 780...

小文件小文件的存储，对HDFS是致命的，默认小文件的定义，各个公司是不同的，可以从自己公司的日常文件中，随机挑选1000个文件，以此来定义小文件的大小。小文件危害：1、NameNode需要的内存大大增大，增加NameNode压力，这样会限制了集群的扩展。2、在HDFS中，小文件的读写处理速度要远远小于大文件3、Hive中，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的...

块大小hdfs默认的块大小为128M，可以在官网查看参数dfs.blocksize。假如一个文件的大小为130M，往HDFS里面存储时，先将128M存储到第一个块里面，剩余的2M则会存储到第二个块里面，但第二个快的实际大小为2M。...

1）NameNode它是hadoop中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问，保存有metadate。2）SecondaryNameNode它不是namenode的冗余守护进程，而是提供周期检查点和清理任务。帮助NN合并editslog，减少NN启动时间。3）DataNode它负责管理连接到节点的存储（一个集群中可以有多个节点）。每个存储数据的节点运行一个datanode守...