hadoop极简配置

最新推荐文章于 2025-07-04 23:56:48 发布

原创最新推荐文章于 2025-07-04 23:56:48 发布 · 468 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop极简配置

hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了如何快速配置Hadoop环境，包括设置JAVA_HOME、HDFS访问端口、运行时数据存储位置、副本数量及MapReduce运行方式，并指导用户进行文件系统的格式化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

快速配置hadoop环境

快速配置以下四个文件：
- hadoop-env.sh 设置JAVA_HOME
- core-site.xml 设置HDFS访问端口和运行时数据存储位置
- hdfs-site.xml 设置副本数量
- mapred-site.xml设置MR运行方式

#hadoop-env.sh
#The java implementation to use.
export JAVA_HOME=/soft/jdk1.7.0_79

#core-site.xml
<configuration>
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://mr:9000</value>
    </property>
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/soft/hadoop-2.4.1/tmp</value>
    </property>
</configuration>

#hdfs-site.xml
<configuration>
    <property>
            <name>dfs.replication</name>
            <value>3</value>
    </property>
</configuration>

#mapred-site.xml
<configuration>
    <!-- 指定mr框架为yarn方式 -->
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
</configuration>

格式化文件系统：