windows下运行hadoop2.7.2

最新推荐文章于 2025-04-23 15:30:37 发布

weixin_34203426

最新推荐文章于 2025-04-23 15:30:37 发布

阅读量156

点赞数

CC 4.0 BY-SA版权

文章标签：大数据操作系统

原文链接：http://www.cnblogs.com/yepei/p/6218653.html

本文提供Hadoop 2.7.2版本的详细安装步骤与配置说明，包括环境变量设置、配置文件修改及基本操作命令等内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.下载hadoop-2.7.2.tar.gz

2.解压到D:\hadoop\

3.配置HADOOP_HOME环境变量

4.将%HADOOP_HOME%\bin目录添加到path环境变量中

5.配置JAVA_HOME环境变量，注意路径不要带空格

6.下载hadoop-common-bin工具包(注意和hadoop的版本要对应，否则执行hdfs命令时可能会报错)，将bin目录下的winutils.exe、hadoop.dll等全部拷到HADOOP_HOME\bin目录下并替换掉同名文件

7.配置hadoop配置文件(hadoop/etc/hadoop/目录下)

a. core-site.xml

<configuration>
　　<property>
       <name>hadoop.tmp.dir</name>
       <value>file:/hadoop/hadoop272/tmp</value>
　　　　<description>Abase for other temporary directories.</description>
   </property>
　　<property>
 <name>fs.defaultFS</name>
 <value>hdfs://localhost:9000</value>
 </property>
</configuration>

b. hdfs-site.xml

<configuration>
  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/hadoop/hadoop272/data/dfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/hadoop/hadoop272/data/dfs/datanode</value>
  </property> 
</configuration>

c. maprd-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

d. yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>