Hadoop集群环境搭建(virtualbox和centos7)

本文详细介绍了如何在VirtualBox中使用CentOS7搭建Hadoop集群,包括创建NameNode节点,配置Java环境,安装Hadoop,配置Hadoop环境变量,设置SSH免密登录,格式化Namenode,以及启动和验证Hadoop服务的过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

准备

           1.Cento7的安装

           2.vitualbox5.23版本(w10环境)

           3.java8的安装https://www.cnblogs.com/shihaiming/p/5809553.html

           4.hadoop2.6.0的安装

1.1 先创建一个NameNode节点,其余DataNode节点的配置由NameNode克隆得到

setting如下,使用桥接网络,关于虚拟机网络选择相关https://blog.youkuaiyun.com/yxc135/article/details/8458939

在storage可以添加cento7的镜像文件,也可以启动虚拟机后自行选择添加。

启动虚拟机后,优先关闭防火墙,最小化安装防火墙使用firewalld。

关闭防火墙可以提高hadoop的速度,而且端口使用也比较随意,虚拟机也无所谓安不安全-_-!!!

    systemctl status firewalld.service//检查防火墙状态
    systemctl stop firewalld.service//关闭防火墙
    systemctl disable firewalld.service//取消防火墙自启动

 配置主机名(同样的,三台datanode也要配置,DN1,DN2,DN3)

vi /etc/sysconfig/network 
# Created by anaconda
NETWORKING=yes
HOSTNAME=NN

1.2联网

在多次尝试自定义静态IP地址上网失败后,默认选择cento7动态分配的ip进行联网。

静态IP配置:https://blog.youkuaiyun.com/teisite/article/details/81196244

最小化安装的cento7没有ifconfig命令,使用

yum -y install net-tools

安装相关网络工具后可使用。

当前虚拟机NameNode的ip

测试ping通百度,平通宿主机后,进行ssh连接(虚拟机连接xshall),之后终端的命令都可以复制粘贴了。

输入虚拟机的ip地址后,输入预先创建的账号和密码,就可以连接上xshall了,需要注意端口号22没有被占用。

连接成功后用su命令输入之前设置的root密码,进入管理员模式。

2.1在虚拟机上安装和配置java8

参考https://www.cnblogs.com/shihaiming/p/5809553.html

虚拟机连接xftp,用于java8压缩文件的传输

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值