hadoop杂项

• 告警信息屏蔽

问题：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
解决：编辑添加/home/jetflow/hadoop/etc/hadoop# vi log4j.properties （屏蔽错误）
	       log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

hadoop命令

hadoop fs -stat [format] 
其中可选的format被官方文档遗漏了。下面列出了format的形式：
%b：打印文件大小（目录为0）
%n：打印文件名
%o：打印block size （我们要的值）
%r：打印备份数
%y：打印UTC日期 yyyy-MM-dd HH:mm:ss
%Y：打印自1970年1月1日以来的UTC微秒数
%F：目录打印directory, 文件打印regular file

下面的例子打印文件的block size和备份个数：
bin/hadoop fs -stat "%o %r" /liangly/teradata/part-00099

测试hadoop-yarn环境

hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar pi 5 10
hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar wordcount /home/hadoop/test/input /home/hadoop/test/output