随手记

一、Hadoop副本数量配置：
1、服务端hdfs-site.xml中配置dfs.replication

2、在客户端指定dfs.replication的值

3、通过命令修改已经上传到hdfs的文件副本数

hadoop dfs -setrep -w 2 -R /user

其中客户端所指定的优先级更高​

二、重启yarn时遇到的问题
在重启yarn时，因为有flume采集任务，
1.Flume客户端写入hdfs文件时的网络连接被不正常的关闭了；
2.Flume客户端写入hdfs失败了，而且其replication副本也丢失了。

Cannot obtain block length for LocatedBlock

第一种方案立即将这个文件写出到磁盘上去，第二种将这个文件删除