Hadoop 安装配置

主要安装流程和注意事项

 

 

红色两天要特别注意

 

1. 安装JDK，JRE  (jdk-7u3-linux-x64.tar.gz) 64位操作系统

2. 设置环境变量JAVA_HOME and PATH (/etc/profile) 对所有用户都生效

 

JAVA_HOME=/usr/local/jdk1.7.0_03

export JAVA_HOME

 

PATH=$JAVA_HOME/bin:/opt/hadoop/bin:$PATH

export PATH

 

如果更改.basrc 文件只会对当前用户生效

 

3. SSH 无密码访问 (从NameNode，JobTracker 节点无密码 SSH 到DataNode节点,TaskTracker节点)

 

无密码访注意chmod 700 -R .ssh 目录 ,其实主要是authorized_keys 文件更改权限为 700 否则会无法正常SSH,虽然设置了SSH但还是需要密码。（注意）

 

4. 修改Host 文件  /etc/hosts 添加IP 和 主机名称的对应关系

 

5. 修改主机名称 hostname 查看更改结果

 

修改 /etc/sysconfig/network 文件 

 

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME=hadoop75 // 修改主机名称  

 

再用hostname 修改主机名称

 

 

6.拷贝Hadoop 软件到每个主机，并修改配置文件，创建需要的目录

 

目录设置参考： (安装到/opt 目录下)

[hadoop@hadoop75 opt]$ ll /opt/

total 48

drwxrwxr-x  3 hadoop hadoop 4096 Feb 28 14:47 data (数据存储目录，NameNode节点和 DataNode节点)

lrwxrwxrwx  1 hadoop hadoop   23 Feb 27 18:52 hadoop -> /opt/hadoop-0.20.205.0/

drwxr-xr-x 17 hadoop hadoop 4096 Feb 28 10:40 hadoop-0.20.205.0

lrwxrwxrwx  1 hadoop hadoop   16 Feb 28 16:06 hive -> /opt/hive-0.8.1/

drwxrwxr-x  9 hadoop hadoop 4096 Feb 28 16:06 hive-0.8.1

drwxrwxr-x  3 hadoop hadoop 4096 Feb 28 10:27 mapred

drwxr-xr-x  3 hadoop hadoop 4096 Feb 29 17:07 tmp

 

 

            <name>hadoop.tmp.dir</name> (Hadoop临时文件存储目录)   

            <value>/opt/tmp</value>

 

            <name>dfs.name.dir</name>  

            <value>/opt/data/name</value> (NameNode 节点的数据存储目录) 注意: 此目录在Linux文件系统中不要创建留给Hadoop来创建否则会有错误。

   

   <name>dfs.data.dir</name>  

            <value>/opt/data/data</value>  (DataNode 节点的数据存储目录，实际分块数据的存储位置)

 

   <name>mapred.local.dir</name> (MapReduce 在本地的临时文件的存储目录)

            <value>/opt/mapred/local</value>

 

   <name>mapred.system.dir</name> (MapReduce 在Hadoop文件系统HDFS中存储临时数据的目录)

            <value>/hadoop/mapred/system</value>

 

   <name>mapred.job.tracker</name> (JobTracker 的节点)

            <value>hadoop75:9001</value>

 

   <name>fs.default.name</name>    (NameNode 的节点)

            <value>hdfs://hadoop75:9000</value>

 

7 其他各机器配置文件拷贝一份,而后执行hadoop namenode -format 即可生成HDFS文件系统 

start-all.sh 即可启动Hadoop， jps 查看是否有相应进程

 

jps

4316 JobTracker

5484 Jps

4058 NameNode

4229 SecondaryNameNode  // NameNode 节点

 

 

jps

2867 DataNode  // DataNode 节点

21479 Jps

2977 TaskTracker

 

Good Luck！