2.3 Hadoop单机配置

第2章 Hadoop快速入门

常见的Hadoop部署模式分为单机模式和集群模式，也称为伪分布式模式和分布式模式。 
单机模式（伪分布式）模式是在一个节点上部署所有的Hadoop服务。在使用上，单机模式（伪分布式）模式跟集群模式（分布式模式）是一样的。

2.3 Hadoop单机配置

2.3节到2.5节内容参考官方文档： 
http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SingleCluster.html

2.3.1 修改hadoop-env.sh

Hadoop的配置文件存放于Hadoop根目录下的etc/hadoop目录，进入该目录 

通过vi hadoop-env.sh命令来编辑hadoop-env.sh脚本文件 

在第25行左右可以找到export JAVA_HOME=${JAVA_HOME}内容 

将改行修改为export JAVA_HOME=/opt/jdk1.8.0_112 
 
然后保存退出

2.3.2 修改slaves文件

同样通过命令vi slaves编辑slaves文件 
 
将默认值localhost修改为node1，保存退出。 

2.3.3 修改hdfs-site.xml

vi hdfs-site.xml

[root@node1 hadoop]# vi hdfs-site.xml
     
1
     

 
在<configuration>和</configuration>之间添加如下内容：

     

       

        

       
       

        

         <property>
        
       

       

        

       
       

        
     
         <name>dfs.replication
         </name>
        
       

       

        

       
       

        
     
         <value>1
         </value>
        
       

       

        

       
       

        

         </property>
        
       
     
1
2
3
4
     

保存退出

2.3.4 修改core-site.xml

vi core-site.xml

[root@node1 hadoop]# vi core-site.xml
     
1
     

 
在<configuration>和</configuration>之间添加如下内容：

     

       

        

       
       

        

         <property>
        
       

       

        

       
       

        
     
         <name>fs.defaultFS
         </name>
        
       

       

        

       
       

        
     
         <value>hdfs://node1:9000
         </value>
        
       

       

        

       
       

        

         </property>
        
       
     
1
2
3
4
     

保存退出

2.3.5 修改mapred-site.xml 文件

默认情况下该目录下没有mapred-site.xml文件，而是存在一个模版文件mapred-site.xml.template，因此首先将模版文件复制一份为mapred-site.xml。然后在通过vi编辑该mapred-site.xml文件 
cp mapred-site.xml.template mapred-site.xml 
vi mapred-site.xml

     

       

        

       
       

        

         [root
         @node1 hadoop]
         # cp mapred-site.xml.template mapred-site.xml
        
       

       

        

       
       

        

         [root
         @node1 hadoop]
         # vi mapred-site.xml
        
       
     
1
2
     

 
在<configuration>和</configuration>之间添加如下内容：

     

       

        

       
       

        

         <property>
        
       

       

        

       
       

        
    
         <name>mapreduce.framework.name
         </name>
        
       

       

        

       
       

        
    
         <value>yarn
         </value>
        
       

       

        

       
       

        

         </property>
        
       
     
1
2
3
4
     

 
保存退出。

2.3.6 修改yarn-site.xml

vi yarn-site.xml

[root@node1 hadoop]# vi yarn-site.xml
     
1
     

 
在<configuration>和</configuration>之间添加如下内容：

     

       

        

       
       

        

         <property>
        
       

       

        

       
       

        
     
         <name>yarn.nodemanager.aux-services
         </name>
        
       

       

        

       
       

        
     
         <value>mapreduce_shuffle
         </value>
        
       

       

        

       
       

        

         </property>
        
       
     
1
2
3
4
     

保存退出

灰常灰常感谢原博主的辛苦工作，为防止删博，所以转载，只供学习使用，不做其他任何商业用途。