Hadoop学习笔记-2.Linux上搭建hadoop伪分布式

Hadoop学习笔记-2.Linux上搭建hadoop伪分布式

一；Linux环境准备

介绍：在虚拟机下运行两个Linux系统（3个表示笔记本带不动）

1：修改主机名

vim /etc/sysconfig/network(Ubuntu下 ：  /etc/hostname )

此处本人两个系统分别修改成了hadoop1和hadoop2.

2：修改IP

   vim /etc/sysconfig/network-scripts/ifcfg-eth0 (Ubuntu下 ： vim /etc/network/interfaces )

最好先查看Windows下的ip地址，然后设置成同一个段的。

hadoop1：

auto eth0
iface eth0 inet static
address 10.108.170.190
gateway 10.108.170.1 #这个地址你要确认下 网关是不是这个地址
netmask 255.255.255.0
network 10.108.170.0
broadcast 10.108.170.255

hadoop2：

auto eth0
iface eth0 inet static
address 10.108.170.191
gateway 10.108.170.1 #这个地址你要确认下 网关是不是这个地址
netmask 255.255.255.0
network 10.108.170.0
broadcast 10.108.170.255

3：修改主机名和IP的映射关系

vim /etc/hosts

10.108.170.190 hadoop1
10.108.170.191 hadoop2

4：关闭防火墙(Ubuntu  ufw disable)

  #查看防火墙状态
          service iptables status
           #关闭防火墙
           service iptables stop
           #查看防火墙开机启动状态
          chkconfig iptables --list
          #关闭防火墙开机启动
          chkconfig iptables off

5：重启Linux

二：安装jdk

 2.1上传

  2.2解压jdk

#创建文件夹
          mkdir /usr/java
          #解压
          tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/

2.3 将java添加到环境变量中

vim /etc/profile
           #在文件最后添加
           export JAVA_HOME=/usr/java/jdk1.7.0_55
          export PATH=$PATH:$JAVA_HOME/bin

#刷新配置
          source /etc/profile

三：安装hadoop2.6

hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop

伪分布式需要修改5个配置文件

 3.1配置hadoop

第一个：hadoop-env.sh
          vim hadoop-env.sh
          #第27行
          export JAVA_HOME=/usr/java/jdk1.7.0_65
         
     第二个：core-site.xml
          <!-- 制定HDFS的老大（NameNode）的地址 -->
          <property>
               <name>fs.defaultFS</name>
                <value>hdfs://itcast01:9000</value>
          </property>
          <!-- 指定hadoop运行时产生文件的存储目录 -->
          <property>
               <name>hadoop.tmp.dir</name>
               <value>/itcast/hadoop-2.4.1/tmp</value>
      </property>
         
     第三个：hdfs-site.xml
          <!-- 指定HDFS副本的数量 -->
          <property>
               <name>dfs.replication</name>
               <value>1</value>
        </property>
         
     第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

这一步别忘了：mv mapred-site.xml.template mapred-site.xml
          vim mapred-site.xml
          <!-- 指定mr运行在yarn上 -->
          <property>
               <name>mapreduce.framework.name</name>
               <value>yarn</value>
        </property>
         
     第五个：yarn-site.xml
           <!-- 指定YARN的老大（ResourceManager）的地址 -->
          <property>
               <name>yarn.resourcemanager.hostname</name>
               <value>itcast01</value>
        </property>
          <!-- reducer获取数据的方式 -->
        <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
        </property>

第六个：slaves

     将集群中从机的主机名写入、

    
      3.2将hadoop添加到环境变量
    
     vim /etc/proflie
          export JAVA_HOME=/usr/java/jdk1.7.0_65
          export HADOOP_HOME=/itcast/hadoop-2.6.1
          export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

     source /etc/profile
    
     3.3格式化namenode（是对namenode进行初始化）
          hdfs namenode -format (hadoop namenode -format)

3.4配置权限

         因为只要hadoop的文件互相相互访问， 需要将hadoop的文件夹设置权限，否则会提醒deny。。最后将所运行的用户设置所有权限
可以为一个普通用户设置sodo权限。（/etc/sudoers）

root ALL=(ALL)ALL

hadoop(你的用户名)ALL=(ALL) ALL

     3.5启动hadoop
          先启动HDFS
          sbin/start-dfs.sh
         
          再启动YARN
          sbin/start-yarn.sh

3.6验证是否启动成功
          使用jps命令验证
          27408 NameNode
          28218 Jps
          27643 SecondaryNameNode
          28066 NodeManager
          27803 ResourceManager
          27512 DataNode

4.配置ssh免登陆
      #生成ssh免登陆密钥
     #进入到我的home目录
     cd ~/.ssh

     ssh-keygen -t rsa （四个回车）
     执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
    

 在各自用户的主目录下进行操作！！，每个节点操作相同。主目录下会id_rsa（私钥）、id_rsa.pub（公钥），一般会复制公钥，

     cp id_rsa.pub authorized_keys  , 最后把各个节点的authorized_keys的内容互相拷贝加入到对方的此文件中，然后就可以免

密码彼此ssh连入。（多个公钥可以复制到authorized_keys 文件中）

    

     设置文件权限（吧.ssh 和 authorized_keys 分别设置成755和600）