安装hadoop及其配置和静态网络配置

本文详细介绍Hadoop的安装步骤,包括环境变量配置、静态网络设置及核心配置文件的修改,帮助读者快速搭建Hadoop环境。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 首先导入hadoop的压缩包,并解压到hadoop用户下的一个叫opt目录中,并把环境配置好,先进入到hadoop用户下面的opt文件中,opt文件中存放着我们解压了的hadoop-2.7.5

我们进入这个路径,当前路径为


这时候我们就在该路径下配置我们的环境变量

首先定义一个变量,将我们这个路径存起来,要不然手打的话很麻烦


然后我们来配置HADOOP_HOME,这个是告诉系统hadoop文件的主体在这个路径,要找就来这个路径找


我们先输出一下,看下路径是否正确,然后在重定向到hadoop用户的.bashrc下,这个文件是放hadoop用户的环境配置的地方,原命令是 echo exportHADOOP_HOME=$hadooppath >> ~/.bashrc  

然后我们再来将hadoop文件的真正存放可执行文件的路径给HADOOP_CONF_DIR


看下路径没错的,然后我们将它加入到环境中去,命令是

    echo exportHADOOP_CONF_DIR=$hadooppath/etc/hadoop >> ~/.bashrc

$表示后面是一个变量,的是否规范,如果加了\,就说明要转义一下,防止里面的内容发生变化,不加的话他会直接把变量里面的值输出,我们这里不加,要的就是hadooppath变量里面存放的路径

然后我们再将之前的路径导入到path里面去


这里我们加\是为了不让HADOOP_HOME转义,要不然这个路径会很长,太过长的话会使文件后面再也加不进东西

原命令是:

echo exportPATH=$PATH:\$HADOOP_HOME/bin:\$HADOOOP_HOME/sbin >> ~/.bashrc

导入后我们来刷新一下/.bashrc,

命令是

     source/.bashrc

然后会看到


我们刷新后,使用hadoop命令,如果有以上显示的话那么就已经配置成功了

2. 接下来配置静态网络,这样可以避免hadoop的所在的IP一直改,有了静态IP后,就可以不用考虑IP的事了


进入这个目录后我们就能对IP地址进行修改了


第一个箭头是将dhcp动态获取地址改为static静态的,

第二个箭头指系统在启动时是否激活网卡

后面几个箭头是指我们要配置的静态网络

   IPADDR:你网卡的物理地址(可以不用写,系统自动会生成) 

   NETMASK:子网掩码 

   GATEWAY:网关

   DNS1:dns服务器

这个IP地址不能乱设置,要和我们虚拟机上的一致,在NAT模式下

网段为75网段,所以我们也要设置为75网段

然后我们使用systemctl restart network 命令就可以重启网卡了

我们输入ifconfig就可以看到我们设置好的静态IP了


3. 接下来我们给我们的用户换个名字,换一个叫python的名字修改主机名,这里我们换成另一个虚拟机了,所以名字用到的是python的名字

首先来进入/etc/hostname

   

然后会看到


修改成我们想要修改的用户名

然后接着修改主机映射

进入/etc/hosts

接下来会看到这个界面


这里要加入我们的映射


然后reboot重启Linux系统即可


这样就把主机名改了


然后我们要python主机名和IP地址画上等于号,后面做hadoop中会讲到为什么要这么做,我们要进window系统中的C:\Windows\System32\drivers\etc\hosts路径来修改映射关系

因为hosts里面有权限,要放到外面来进行修改,修改后再扔回去

这样的话我们就把python和192.168.75.188绑定了

我们用xshell来验证下

看到这个就说明我们绑定了

以下这个文件我是在Linux这台虚拟机上配置的,上面配置的地方是在PythonLinux这台虚拟机上,请分清楚

首先,我们进入到hadoop用户的opt目录中去

我们解压后,会在opt这个文件夹下生成一个叫hadoop-2.7.5的文件,我们要进这里面的这个

~/opt/hadoop-2.7.5/etc/hadoop 这个目录里面,对以下这四个文件进行修改

   core-site.xml   (默认文件系统)

   hdfs-site.xml  (备份数和存储路径等)

   mapred-site.xml.templae  (启用yarn的调度框架)

   yarn-site.xml  (yarn)

以上者四个文件在hadoop启动过程中会被调用

1. core-site.xml 修改:


Python2是我们的主机名,后面的端口是开启hadoop的端口,记住该端口不能被占用

2.  hdfs-site.xml修改


3. mapred-site.xml  这个要改名,原文件叫mapred-site.xml.templae,我们在原文件上复制并且改名一份,直接对复制后的mapred-site.xml进行修改


4. yarn-site.xml 修改

  
### 配置Hadoop集群中虚拟机的静态IP 为了确保Hadoop集群能够稳定运行,配置虚拟机上的静态IP地址是一个重要的步骤。这不仅有助于保持节点之间的通信稳定性,还便于管理维护整个集群环境。 #### 修改主机文件以支持名称解析 在每台虚拟机上编辑`/etc/hosts`文件来添加映射信息,这样可以在不依赖外部DNS服务器的情况下实现主机名到IP地址的转换[^2]: ```bash sudo nano /etc/hosts ``` 向该文件追加如下内容(假设使用的是四节点集群): ``` 192.168.200.101 hadoop101 192.168.200.102 hadoop102 192.168.200.103 hadoop103 192.168.200.104 hadoop104 ``` 保存并关闭编辑器。 #### 设置网络接口为静态IP模式 对于基于Red Hat的企业级Linux发行版及其衍生版本,可通过修改位于`/etc/sysconfig/network-scripts/ifcfg-<interface>`路径下的相应网卡配置文件来进行设置[^4]: ```bash sudo vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 ``` 按照实际情况调整参数,例如: ```ini TYPE=Ethernet BOOTPROTO=static # 使用静态分配而非动态获取 DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=no NAME=eno16777736 DEVICE=eno16777736 ONBOOT=yes # 开启自动激活此设备选项 IPADDR=192.168.119.109 # 设定固定的IPv4地址 PREFIX=24 # 子网掩码长度 GATEWAY=192.168.119.2 # 默认路由下一跳地址 ``` 完成上述操作后重启网络服务使新配置生效: ```bash sudo systemctl restart network ``` 如果是在Windows宿主机环境中通过VMware Workstation创建的虚拟机,则还需要进一步配置宿主机端的VMnet适配器[^3]。具体做法是从任务栏进入“网络共享中心”,找到对应的VMware Network Adapter VMnet8组件,并将其绑定至指定范围内的私有子网内,比如这里使用的192.168.121.x系列地址池。 最后验证各节点间的连通性以及能否正常访问互联网资源,从而确认整体部署工作顺利完成。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值