一见

如果DataNode的dfs.datanode.data.dir全配置成SSD类型，则执行“hdfs dfs -put /etc/hosts hdfs:///tmp/”时会报如下错误：​​2017-05-04 16:08:22,545 WARN org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicy: Faile

详情请参见DatanodeUtil.java中的函数idToBlockDir(File root, long blockId)。如果block文件没有放在正确的目录下，则DataNode会出现“expected block file path”日志。// g++ -g -o block2dir block2dir.cpp#include #include int

一次机房搬迁中，原机房hadoop版本为2.7.2，新机房版本为2.8.0，采用先扩容再缩容的方式搬迁。由于新旧机房机型不同和磁盘数不同，操作过程搞混过hdfs-site.xml，因为两种不同的机型，hdfs-site.xml不便做到相同，导致了NameNode报大量“missing block”。然而依据NameNode所报信息，在DataNode能找到那些被标记为“missing”