Hadoop杂解

Hadoop其他开发方法：

HadoopStreaming 允许用任何 shell 命令作为 map 或 reduce 函数。

libhdfs 是一种基于 JNI 的 C 语言版 API（仅用于 HDFS）。

Hadoop Pipes 是一种兼容 SWIG 的 C++ API （非 JNI），用于编写 MapReduce 作业。 

 Map读入文件不会切割：

自己完成InputFormat

mapred.min.split.size 设置为足够大

非Hadoop用户运行 M/R任务

客户端和服务器机器都要有访问权限

<property>
	<name>mapred.system.dir</name> 
	<value>/hadoop/mapred/system</value>
	<description>The shared directory where MapReduce stores control files.</description>
</property>