hadoop-2.6.0伪分布式详细安装与配置

准备：使用hadoop-2.6.0，jdk1.8.0_66，新建hadoop用户

SSH互信

hadoop用户权限下
1.在每个节点上建立秘钥：

ssh-keygen -t rsa

2.把id_rsa.pub追加授权到keys里面去：
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
修改权限：

chmod 755 ~/.ssh/authorized_keys

ssh一下root用户进行测试：ssh root

如果不行的话：ssh-copy-id -i hadoop@localhost

退出：exit


安装java，可以使用两种方法：
一.
1.安装在root用户下，在/usr新建java目录，将jdk导入，解压缩
mkidr /usr/java
tar -xvf jdk-8u66-linux-x64.tar.gz
2.配置/etc/profile
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_66
export JRE_HOME=$JAVA_HOME/jre
export CLASS_HOME=$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH


source /etc/profile
这样安装可以在root用户及其他所有用户下使用java。
二.
1.在hadoop用户下，在/home/hadoop/下新建java目录，将jdk导入，解压缩
mkidr /home/hadoop/java
tar -xvf jdk-8u66-linux-x64.tar.gz
2.配置 .bash_profile
vim .bash_profile
export JAVA_HOME=/home/hadoop/java/jdk1.8.0_66
export JRE_HOME=$JAVA_HOME/jre
export CLASS_HOME=$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

source .bash_profile
这样安装可以避免更改root用户下的环境变量，在没有root权限的情况下，选择这种安装模式。

两种方法共同测试方法：java或java -version

安装配置hadoop
1.配置hadoop用户下的.bash_profile文件
vim .bash_profile


HADOOP_HOME=/home/hadoop/hadoop/hadoop-2.6.0
PATH=/home/hadoop/hadoop/hadoop-2.6.0/bin:/home/hadoop/hadoop/hadoop-2.6.0/sbin:$PATH:$HOME/bin
HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
HADOOP_OPTS="-Djava.librart.path=$HADOOP_HOME/lib"
export PATH HADOOP_HOME HADOOP_COMMON_LIB_NATIVE_DIR HADOOP_OPTS 


source .bash_profile


2.进入/home/hadoop/hadoop/hadoop-2.6.0/etc/hadoop中
配置hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_66


配置core-site.xml
<property>
<name>fs.defaultFS</name>                       
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop/dfs/tmp</value>
</property>


配置hdfs-site.xml
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/hadoop/dfs/name</value>
</property>
<property>
        <name>dfs.namenode.data.dir</name>
        <value>file:/home/hadoop/hadoop/dfs/data</value>

</property>

格式化namenode，必须要格式化

bin/hadoop namenode -format

启动启动hdfs
sbin/start-dfs.sh
启动yarn
sbin/start-yarn.sh

或者直接使用：sbin/start-all.sh

jps查看进程