安装cloudera初体验

参考 http://blog.javachen.com/hadoop/2013/03/24/manual-install-Cloudera-Hadoop-CDH/  手动安装完cloudera后，悲剧发生了。。。

启动DFS报找不到JAVA_HOME找不到的问题，我查看了一下我的环境变量，JAVA_HOME是已经设置好了，并生效了，但是还是出现这个莫名其妙的问题，后来想到hadoop_env.sh里面有设置JAVA环境变量的地方，JAVA_HOME=${JAVA_HOME},这样我认为也没有问题了，后来没招了，只能把这句话改成JAVA_HOME=/usr/local/jdk，蛋疼啊

 [root@hadoop0 sbin]# ./start-dfs.sh 
13/08/06 01:30:36 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [hadoop0]
hadoop0: Error: JAVA_HOME is not set and could not be found.
hadoop2: Error: JAVA_HOME is not set and could not be found.
hadoop1: Error: JAVA_HOME is not set and could not be found.
Starting secondary namenodes [hadoop0]
hadoop0: Error: JAVA_HOME is not set and could not be found.
13/08/06 01:30:43 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 

改完环境变量后，又遇到下边这个问题，终于明白蛋到底有多疼了，字面意思是FSI版本太old了，需要更新一下，在网上查了命令是hadoop namenode -upgrade

java.io.IOException: 

File system image contains an old layout version -32.
An upgrade to version -40 is required.
Please restart NameNode with -upgrade option.
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(
FSImage.java:222)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNam
esystem.java:592)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNa
mesystem.java:435)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNa
mesystem.java:397)
at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNo
de.java:399)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.j
ava:433)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:
609)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:
590)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNo
de.java:1141)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:12
05)
2013-08-06 01:38:03,274 INFO org.apache.hadoop.util.ExitUtil: Exiting with statu
s 1
2013-08-06 01:38:03,282 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SH
UTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at hadoop0/192.168.3.251

************************************************************/

执行更新操作时，又遇到以下问题。。。。蛋啊。疼呀。

13/08/06 01:41:48 ERROR namenode.NameNode: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: file:///
at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:164)
at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:201)
at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:231)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:265)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:536)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1410)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1419)

我发现hdfs-site.xml中没有正确配置hdfs的地址引起的，后来改成hdfs://hadoop0:9000,重新格式化，所有程序都可以正常运行了。