tiandd12的博客

https://eldadlevy.wordpress.com/2011/02/05/hadoop-binary-files-processing-entroduced-by-image-duplic 翻译。不足之处多多包涵，更感谢网友的指正。

Hadoop 的namenode一直处于standby状态，kill掉另一个namenode这也不能active，查看日志WARNorg.apache.hadoop.hdfs.server.namenode.NameNodeResourceChecker: paceavailable on volume '/dev/mapper/vg_master-lv_root' is 0 which

这几天需要做 不同节点的查询试验，才发现不能关闭节点。百度一个一番之后。解决方法;修改 hadoop-env.sh 文件export HADOOP_PID_DIR=/usr/software/hadoop-2.7.2/tmp这里的文件名和路径可以自由设置。在重启集群就好了

原文网址：http://blog.youkuaiyun.com/javaman_chen/article/details/7241087Hadoop的HDFS和MapReduce子框架主要是针对大数据文件来设计的，在小文件的处理上不但效率低下，而且十分消耗内存资源(每一个小文件占用一个Block,每一个block的元数据都存储在namenode的内存里)。解决办法通常是选择一个容器，将这些

为了解决大量小图片在HDFS存储是存储在的问题，将小图片存储到SequenceFile中，然后通过MapReduce函数对SequenceFile文件进行操作。用过设置，job的输入文件格式得到SequenceFile中的数据，代码如下：package com.wang;import java.io.IOException;import org.apache.hadoop.conf.Co