Hadoop-基础篇-在Windows上安装

最新推荐文章于 2024-10-31 23:53:54 发布

转载最新推荐文章于 2024-10-31 23:53:54 发布 · 237 阅读

文章标签：

#hadoop

大数据专栏收录该内容

72 篇文章

订阅专栏

下载软件

hadoop版本：hadoop-2.8.3.tar.gz。官网下载
winutisl插件（window系统才需要，）：winutils-master.zip。Git下载地址

安装步骤

解压hadoop-2.8.3.tar.gz至C:\hadoop-2.8.3。注意：不要安装在有空格的路径中
设置环境变量：在path添加 ;C:\Program Files\hadoop\2.8.4\bin
解压winutils-master.zip（我是把所有版本的内容都下载了，选择和你版本符合的内容，复制bin文件夹，覆盖到C:\hadoop-2.8.3\bin）
复制C:\hadoop-2.8.3\bin\hadoop.dll到C:\windows\System32下
修改C:\hadoop-2.8.3\etc\hadoop下的5个文件内容，分别如下：

core-site.xml


 
   
    
   
   
    
     <?xml version="1.0" encoding="UTF-8"?>
    
   

   
    
   
   
    
     <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
   

   
    
   
   
     
    
   

   
    
   
   
    
     <configuration>
    
   

   
    
   
   
        
     <property>  
    
   

   
    
   
   
            
     <name>fs.default.name
     </name>  
    
   

   
    
   
   
            
     <value>hdfs://localhost:9000
     </value>  
    
   

   
    
   
   
        
     </property>     
    
   

   
    
   
   
    
     </configuration>

hadoop-env.cmd

set JAVA_HOME=C:\Progra~1\Java\jdk1.8.0_121

设置JAVA_HOME，注意不能值不能有空格，原来的JAVA_HOME=C:\Program Files\Java\jdk1.8.0_121，用C:\Progra~1\Java\jdk1.8.0_121替换

hdfs-site.xml


 
   
    
   
   
    
     <?xml version="1.0" encoding="UTF-8"?>
    
   

   
    
   
   
    
     <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
   

   
    
   
   
     
    
   

   
    
   
   
    
     <configuration>
    
   

   
    
   
   
        
     <property>
    
   

   
    
   
   
          
     <name>dfs.replication
     </name>
    
   

   
    
   
   
          
     <value>1
     </value>
    
   

   
    
   
   
        
     </property>
    
   

   
    
   
   
        
     <property>
    
   

   
    
   
   
            
     <name>dfs.namenode.name.dir
     </name>
    
   

   
    
   
   
            
     <value>file:/hadoop-2.8.3/data/dfs/namenode
     </value>
    
   

   
    
   
   
        
     </property>
    
   

   
    
   
   
        
     <property>
    
   

   
    
   
   
          
     <name>dfs.datanode.data.dir
     </name>
    
   

   
    
   
   
          
     <value>file:/hadoop-2.8.3/data/dfs/datanode
     </value>
    
   

   
    
   
   
        
     </property>
    
   

   
    
   
   
    
     </configuration>

不需要手动创建文件夹，程序会自动创建文件

mapred-site.xml


 
   
    
   
   
    
     <?xml version="1.0"?>
    
   

   
    
   
   
    
     <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
   

   
    
   
   
     
    
   

   
    
   
   
    
     <configuration>
    
   

   
    
   
   
     
     <property>
    
   

   
    
   
   
         
     <name>mapreduce.framework.name
     </name>
    
   

   
    
   
   
         
     <value>yarn
     </value>
    
   

   
    
   
   
      
     </property>
    
   

   
    
   
   
    
     </configuration>

mapred-site.xml默认是没有，通过mapred-site.xml.template，删除后缀.template得到

yarn-site.xml


 
   
    
   
   
    
     <?xml version="1.0"?>
    
   

   
    
   
   
     
    
   

   
    
   
   
    
     <configuration>
    
   

   
    
   
   
        
     <property>
    
   

   
    
   
   
           
     <name>yarn.nodemanager.aux-services
     </name>
    
   

   
    
   
   
           
     <value>mapreduce_shuffle
     </value>
    
   

   
    
   
   
        
     </property>
    
   

   
    
   
   
        
     <property>
    
   

   
    
   
   
           
     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class
     </name>
    
   

   
    
   
   
           
     <value>org.apache.hadoop.mapred.ShuffleHandler
     </value>
    
   

   
    
   
   
        
     </property>
    
   

   
    
   
   
    
     </configuration>