Hadoop系列5：安装模式

最新推荐文章于 2022-08-10 17:17:10 发布

wy425826501

最新推荐文章于 2022-08-10 17:17:10 发布

阅读量263

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/wy425826501/article/details/80630089

hadoop 专栏收录该内容

7 篇文章

订阅专栏

本文详细介绍Hadoop伪分布式环境的搭建步骤，包括关闭防火墙、配置主机名、设置免密钥登录等，并提供核心配置文件的具体参数设置，帮助读者快速上手。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、安装模式

单机模式：不能使用HDFS,只能使用MapReduce,所以单机模式最主要的目的是在本机调试Mapreduce代码

伪分布式模式：用多个县城模拟多台真实机器，及模拟真实的分布式环境

完全分布式模式：用多台机器来完成部署集群

二、伪分布式安装

1.关闭防火墙

chkconfig iptables off

2.修改服务器名称

vim /etc/sysconfig/network

修改host=hadoop1

3.vim /etc/hosts

127.0.0.1 localhost
::1 localhost

192.168.163.129 hadoop1

4.配置免密钥登录

ssh-keygen

ssh-copy-id root@hadoop1

三、hadoop安装

etc/hadoop/

1.vim hadoop-env.sh

export JAVA_HOME=/home/software/jdk

export HADOOP_CONF_DIR=/home/hadoop/etc/hadoop

2.vim core-site.xml

  配置namenode  

<property>

    <name>fs.default.name</name>
    <value>hdfs://hadoop1:9000</value>

   </property>

  元数据存储路径

 <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/software/hadoop-2.7.1/tmp</value>

     </property>

3.vim hdfs-site.xml

副本数量：伪分布式写1，完全分布写3+

<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>

4.cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

5.yarn-site.xml

 <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop1</value>
  </property>
   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
  </property>

6.vim slaves

hadoop1

~~hadoop2~~

~~hadoop3~~

6.cd /home/sof.../hadoop

mkdir tmp

7.配置hadoop环境变量

JAVA_HOME=/home/software/jdk1.8.0_65
HADOOP_HOME=/home/software/hadoop-2.7.1
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME PATH CLASSPATH HADOOP_HOME

添加红色部分

四、hadoop使用

hadoop namenode -format