ubuntu上hadoop配置

自我mark供以后查看。。


1. 装JDK并更改环境变量
java -version #检查

sudo gedit /etc/profile

加入如下内容：
export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.21/   （目录不一定是这个，先cd下看看）
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
保存


2. 增加一个hadoop用户组和一个hadoop用户，设置权限（或者改自己的权限）

sudo addgroup hadoop
sudo adduser --ingroup hadoop hadoop
sudo su -
chmod u+w /etc/sudoers
gedit /etc/sudoers
在 root ALL=(ALL) ALL 后面添加:hadoop ALL=(ALL) ALL
chmod u-w /etc/sudoers #恢复sudoers的权限
exit #退出root


3.设置SSH
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

ssh localhost #验证，不要密码就可以了 （如果不行可以试一试输入ssh-add后再试）

ssh localhost成功了记得exit出来，否则后面gedit可能会报一个cannot display的错。

4.装hadoop，配置伪分布模式
到 Hadoop 官方网站 http://hadoop.apache.org下载Hadoop Core，如hadoop-1.0.3-bin.tar.gz
sudo tar -zxvf 下载/hadoop-1.0.3-bin.tar.gz -C /usr/local/ #解压
sudo chown -R hadoop:hadoop /usr/local/hadoop-1.0.3/ #权限赋给hadoop用户
sudo gedit /usr/local/hadoop-1.0.3/conf/hadoop-env.sh
改这里：
# The java implementation to use.  Required.
 export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.21/


5.伪分布式运行模式配置
改conf/core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>


conf/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>


conf/hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>


6.格式化namenode

bin/hadoop namenode -format

7.打开和关闭hadoop

bin/start-all.sh

bin/stop-all.sh