大数据||Hadoop分布式部署虚拟机

本文详细介绍如何通过配置Hadoop实现多节点分布式部署,包括设置固定IP、克隆虚拟机、修改MAC地址和主机名等步骤,并介绍了如何在配置文件中添加节点。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

分布式部署

  • 伪分布式。一台机器运行所有的守护进程,从节点datanode、nodemanager
  • 完成分布式。
    有多个从节点。
    datanodes、nodeManager。多节点其实就是多了几个datanode和nodemanager。
    如何配置多个节点?
    在配置文件$Hadoop/etc/hadoop/slaves中添加节点。

0、停掉 hdfs和yarn的服务

1、设置固定ip并重连


机器规划

克隆虚拟机方式1

克隆虚拟机方式2

复制hadoop-senior2重新命名为hadoop-senior3
image.png
在VMware Workstation中打开hadoop-senior3
image.png

修改mac地址

命令
在虚拟机中自动生成mac地址
修改自动生成的eth1 删除eth0
image.png

修改mac地址并reboot

命令
image.png

修改第二台虚拟机的mac及ip

mac
image.png
修改自动生成的eth1 删除eth0
image.png
修改ip
修改mac文件并重启服务

修改主机名

命令:vi /etc/sysconfig/network

image.png

配置ip与主机域名映射

说明:在集群环境中ip会发生变化,所以使用域名来代替ip地址,这样程序不需要改变。因为程序里面配置的是域名。

命令:vi /etc/hosts


测试

命令: ping hadoop-senior02.beifeng.com


创建集群文件夹

mkdir /opt/app

### Hadoop 分布式安装与配置指南 #### 1. 准备工作 为了成功部署Hadoop分布式环境,需准备多台服务器或虚拟机作为集群节点。每台机器应具备相同的Linux操作系统版本,并确保时间同步服务已开启。 #### 2. SSH无密码登录设置 实现各节点间的无缝通信至关重要。为此,在主节点上生成一对SSH密钥对,并将其公钥分发给其他所有节点[^3]: ```bash # 在NameNode执行如下命令创建密钥对并复制到DataNodes ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys for node in datanode1 datanode2; do ssh-copy-id $node; done ``` #### 3. Java环境搭建 确认所有节点均已正确安装相同版本的JDK。可通过`java -version`指令检验Java运行状况。 #### 4. 下载并解压Hadoop包 前往官方网站下载稳定版Hadoop压缩文件至本地磁盘空间充足的目录下,随后解压该档案。 ```bash tar zxvf hadoop-x.x.x.tar.gz cd hadoop-x.x.x/ ``` #### 5. 修改核心配置文件 编辑`etc/hadoop/core-site.xml`, `hdfs-site.xml`, 和`yarn-site.xml`三个主要XML格式配置文档来适应实际硬件条件和业务需求。以下是针对core-site.xml的部分示例配置项: ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://namenode:9000</value> </property> </configuration> ``` 对于hdfs-site.xml, 则定义数据副本数量以及存储路径等参数;而yarn-site.xml负责设定资源管理器地址及其他YARN特性选项。 #### 6. 启动HDFS服务 完成上述准备工作之后,即可初始化Namenode元数据库,并启动整个HDFS系统: ```bash bin/hdfs namenode -format sbin/start-dfs.sh ``` 此时应该能够通过浏览器访问http://namenode:50070查看Web UI界面监控状态。 #### 7. YARN框架激活 最后一步就是让ResourceManager及其附属组件上线运作: ```bash sbin/start-yarn.sh ``` 至此,一个基础功能完备的Hadoop分布式平台已经构建完毕,可供进一步开发测试之用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值