Hadoop-2.6.0配置

最新推荐文章于 2025-12-06 14:39:28 发布

原创

最新推荐文章于 2025-12-06 14:39:28 发布 · 1.7k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop #CentOS #MapReduce #VirtualBox

本文详细记录了在VirtualBox中使用CentOS配置Hadoop-2.6.0的全过程，包括网络环境设置、JDK安装、SSH免密登录以及Hadoop的安装和配置。通过一步步的指导，帮助读者顺利完成Hadoop集群的搭建。

我自己配置Hadoop的过程挺艰难的，东拼西凑找遍教程，可算把这配好了。特此写一个记录，以防日后所需，同时也希望能帮到大家。

事先准备

软件	下载地址
CentOS 7.4	https://www.centos.org/download/
VirtualBox 6.0	https://www.virtualbox.org/wiki/Downloads
JDK 1.8	https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Hadoop 2.6	https://hadoop.apache.org/releases.html
XShell 6	https://www.netsarang.com/zh/xshell/
XFtp 6	https://www.netsarang.com/zh/xftp/

VirtualBox

安装CentOS

新建虚拟机
类型：Linux；版本：Red Hat 32/64依自身情况
挂载镜像文件
启动并安装 ；安装时选择最小安装即可

配置网络环境

网卡1
网卡2（这里使用的是WIFI，如果是有线网络见3）
网卡2（有线网络）

CentOS中的网络设置：
首先在windows中输入ipconfig /all查看网络配置。如图，我的虚拟机软件所分配到的ipv4为192.168.56.1；那么我们实际在虚拟机中的ipv4地址的范围应该是192.168.56.2~192.168.56.255。

在这里插入图片描述接下来在CentOS中操作：
输入ip add查看网络配置

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
   valid_lft forever preferred_lft forever
inet6 ::1/128 scope host 
   valid_lft forever preferred_lft forever
2: enp0s3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 08:00:27:e7:0e:5b brd ff:ff:ff:ff:ff:ff
inet 192.168.56.2/24 brd 192.168.56.255 scope global enp0s3
   valid_lft forever preferred_lft forever
inet6 fe80::9f23:fc55:29a7:6e2c/64 scope link 
   valid_lft forever preferred_lft forever
3: enp0s8: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 08:00:27:6d:1e:ed brd ff:ff:ff:ff:ff:ff
inet6 2408:84ef:22:eab6:3cd8:95a0:8ce9:4ad9/64 scope global noprefixroute dynamic 
   valid_lft 3363sec preferred_lft 3363sec
inet6 fe80::22ed:6b14:3db9:426f/64 scope link 
   valid_lft forever preferred_lft forever

输入vi /etc/sysconfig/network-scripts/ifcfg-enp0s3编辑enp0s3网卡
修改其中的ONBOOT;IPADDR;NETMASK;GATEWAY

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=enp0s3
UUID=8b84fb8e-0a8c-4ed8-9d81-b33f2043980c
DEVICE=enp0s3
ONBOOT=yes
IPADDR=192.168.56.2
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
PREFIX=24
DNS1=114.114.114.114

设置完成后输入service network restart来重启网络
方便起见，这里可以先把防火墙关了，输入systemctl stop firewalld.service
输入systemctl status firewalld.service确认防火墙已被关闭
在这里插入图片描述
如图: 防火墙已被关闭

Active: inactive (dead)

测试与实体机的连接ping 192.168.43.1，Ctrl/Command + Z停止ping
在这里插入图片描述
测试与外网的连接ping www.baidu.com
回到实体机，打开cmd，输入ping 192.168.56.2测试与虚拟机的连接

Linux常用命令

管理员权限:sudo（下文配置时的指令操作如果出现错误，就在指令前加sudo）
防火墙状态:systemctl status firewalld.service
关闭防火墙:systemctl stop firewalld.service
编辑enp0s3网卡:vi /etc/sysconfig/network-scripts/ifcfg-enp0s3
重启network:service network restart
更改DNS
查看当前启动的连接:nmcli connection show
更改DNS:nmcli con mod enp0s3 ipv4.dns 114.114.114.114
配置生效:nmcli con up enp0s3
配置hadoop文件:cd /usr/local/hadoop-2.6.0/etc/hadoop

取消当前指令：Ctrl/Command + Z
保存文件并退出：先按Esc;然后 Shift + ; （即输入“：”）最后输入wq

XFtp 连接 CentOS

左上角新建连接
在这里插入图片描述

连接成功后，左边为本机文件，右边为虚拟机文件；可以通过右键本机文件将其上传至虚拟机
在这里插入图片描述

XShell 连接 CentOS

左上角新建连接
在这里插入图片描述

点击用户身份验证，输入用户名和密码
在这里插入图片描述

安装JDK

下载JDK 1.8: 链接；在这里插入图片描述
利用XFtp将文件发送到CentOS中。
输入tar -zxvf jdk-8u202-linux-x64.tar.gz解压文件
输入mv jdk1.8.0_202 /usr/local/将解压好的文件夹移动到usr/local文件夹下(个人习惯问题，可不移)

输入vim /etc/profile配置JDK环境；在文件最下面输入：

export JAVA_HOME=/usr/local/jdk1.8.0_202/
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

如图在这里插入图片描述
输入source /etc/profile使方才的修改生效
输入java -version测试是否生效，如图：