Hadoop1.0版本伪分布式的配置

Hadoop1伪分布式配置

 

下载安装远程软件
securecrt  FileZilla FTP    UltraEdit FTP

 

建立文件夹/opt下面建立四个文件夹

Data       存放源数据

Modules        安装软件包

Softwares         存放软件包

Tools                  存放工具文件

 

1.关闭防火墙与禁用selinux：

命令：service  iptables status

         首先查看防火墙状态：service iptables status

         永久性生效，重启后不会复原chkconfig iptables on

         关闭： chkconfigiptables off 即时生效，重启后复原

         开启：  service iptables start  service iptables stop   reboot 重启后生效

        

防火墙配置地址 /etc/sysconfig/selinux修改为禁用

 

查看IP是否静态IP:more /etc/sysconfig/network-scripts/ifcfg-eth0

 

2.配置主机名1.hostname  2  /etc/sysconfig/network

 

3.本地DNS的配置。主机名与IP绑定。 /etc/hosts

相当于windows下面的C:/Windows/System32/drivers/etc/hosts文件

 

4.SSH无密匙登陆通道配置。

  切换到普通账号，输入密令：ssh-keygen  -t  rsa

  将公钥（~/.ssh/id_rsa.pub）复制成  ~/.ssh/authorized_keys

 .ssh的权限配置只能是644 或者 600 700

 

5.安装JDK  (本机环境变量文件  /etc/profile 用户环境配置~/etc/.bashrc_profile)

        查看当前的jdk版本 java –version    rpm –qa|grep  java

        卸载当前jdk  rpm –e  nodeps java-……   再次查看jdk配置

        解压jdk  tar -zxvf  jdk….tar.gz

         配置环境变量:expertJAVA_HOME=…

                                      Expert JAVA_BIN=…

                          Expert JAVA_LIB=….      
                      Expert CLASSPATH=

                              Expert PATH=$JAVA_BIN:$PATH

 

6 hadoop的解压与配置

         1.hadoop解压到modules下面,配置PATH路径
                   expert  HADOOP_HOME=

                   export  PATH=$PATH:$HADOOPHOME/bin

         2.  hadoop的xml文件配置.路径$HADOOP_HOME/config

                    Core-site.xml配置(指定namenode的主机名端口号与文件目录)
                   <property>

                            <name>fs.default.name</name>

                            <value>hdfs://hadoop-master.dragon.org:9000</value>

           </property>

           <property>

                    <name>hadoop.tmp.dir</name>

                    <value>/opt/data/tmp</value>

           </property>

          

           Hdfs-site.xml配置 （设置HDFS的副本数 与进制权限检查）

           <property>

                    <name>dfs.replication</name>

                    <value>1</value>

           </property>

           <property>

                    <name>dfs.permissions</name>

                    <value>false</value>

           </property>

             

            

mapred-site.xml配置

<property>   --指定jobTracker的主机与端口号

           <name>mapred.job.tracker</name>

           <value>hadoop.master.dragon.org:9001</value>

</property>

 

Slaves配置

           Hadoop-master.dragon.org

 

Masters文件配置

           Hadoop.master.dragon.org

 

7格式化与启动与停止

       Hadoop的格式化：Hadoop  namenode -format

         Hadoop的启动：start-dfs.sh   (hadoop-master.dragon.org:50070)

         Mapreduce的启动：start-mapred.sh  (hadoop-master.dragon.org:50070)

        

         MapReduce的停止:stop-mapred.sh
         Hadoop的停止:stop-dfs.sh

        

         启动log存放地址：/opt/ modules/hadoop/logs 

         有两种日志格式，分别以log和out结尾

1）  以log结尾的日志.通过log4j日志就格式进行记录的日志.采用的是日常滚动来命名文件，内容比较全面。

2）  以out结尾的日志。记录标准输出和标准错误的日志。内容比较少。

 

         Hadoop启动的三种方式.
         1)第一种方式,分别启动HDFS与MapReduce
         2)第二种方式.全部启动或者全部停止

         start-all.sh  启动顺寻如下:nameNode，DataName，seconedNameNode,JobTracker

tasktracher。
         stop-all.sh

         3)第三种启动方式,每个守护进程逐一启动。

         Hadoop-daemon.shstart  namenode