Hadoop 之 集群安装(HDFS、YARN)

本文介绍了如何在三台虚拟机上搭建Hadoop集群,包括设置SSH免密登录,时间同步,安装JDK,配置Hadoop环境,格式化NameNode,启动HDFS和YARN集群,以及进行HDFS和MapReduce的基本操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

简介:

  • Hadoop集群包括两个集群:HDFS集群和YARN集群。
  • 两个集群逻辑上分离、通常物理上在一起。

一:相关文档

  1. Hadoop安装包下载地址:

    Index of /dist/hadoop/common

  2. 安装使用 VMware 创建三台虚拟机。
  3. 三台虚拟机做好免密登录。(参考文档:

    SSH设置免密登录(centos7)_ssh-keygen -t dsa -p '' -f ~/.ssh/id_dsa_潮听哥的博客-优快云博客

  4. 修改三台主机hostname(参考文档:

    修改主机hostname,推荐第二种_修改hostname_有欲无求的博客-优快云博客

    )。
  5. 安装jdk。(参考文档:

    centos7 安装jdk详细教程_centos7安装jdk_奇漠的博客-优快云博客

  6. 每分钟执行一次时间同步 crontab -e ; */1 * * * * /usr/sbin/ntpdate ntp1.aliyun.com

二:开始安装

  1. 修改主机名(3台机器)
    vim /etc/hostname
    
    输入node1或node2或node3
  2. Hosts映射(3台机器)
    vim /etc/hosts
    
    192.168.106.3 node1
    192.168.106.4 node2
    192.168.106.5 node3
  3. 防火墙关闭(3台机器)
    systemctl stop firewalld.service      #关闭防火墙
    systemctl disable firewalld.service   #禁止防火墙开机自启
  4. ssh免密登录
    注意:第一轮一次执行完后,再执行第二轮
    
    node1
    第一轮:
    ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
    scp ~/.ssh/id_dsa.pub root@node2:/home/id_dsa_node1.pub
    scp ~/.ssh/id_dsa.pub root@node3:/home/id_dsa_node1.pub
    第二
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值