hadoop分布式系统的搭建（三台）

最新推荐文章于 2024-05-16 15:29:56 发布

xiaoxiaolove_i

最新推荐文章于 2024-05-16 15:29:56 发布

阅读量284

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Hadoop生态链文章标签： hadoop环境搭建

本文链接：https://blog.youkuaiyun.com/xiaoxiaolove_i/article/details/98091923

本文详细介绍了如何在三台服务器上搭建Hadoop完全分布式环境，包括修改配置文件、设置JAVA_HOME、分发软件、配置SSH免密登录、启动HDFS和YARN等关键步骤，并强调了启动过程中的注意事项和时间同步的重要性。

机器3台(关闭防火墙、ip地址、主机名、ip与主机的映射)
在一台机器上先搭建伪分布式，然后再通过scp命令进行拷贝

安装jdk 配置环境变量

安装hadoop

配置集群

启动

# 删除data：
[hadoop@hadoop25 hadoop]$ rm -rf data/
# 删除日志  logs
[hadoop@hadoop25 hadoop]$ rm -rf logs/*
# 格式化namenode
[hadoop@hadoop25 hadoop]$ hadoop namenode -format

步骤一：修改配置文件core-site.xml

[hadoop@hadoop25 hadoop]$ cd etc/hadoop/
[hadoop@hadoop25 hadoop]$ pwd
/home/hadoop/software/hadoop/etc/hadoop

<configuration>
   	<property>
    	<!--指定hdfs的namenode节点的地址-->
     	<name>fs.defaultFS</name>
     	<value>hdfs://hadoop101:9000</value>
    </property>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/home/hadoop/software/hadoop/data/tmp