hadoop集群搭建--单节点(本地节点)

最新推荐文章于 2024-10-15 23:45:47 发布

MengShi_

最新推荐文章于 2024-10-15 23:45:47 发布

阅读量2.2k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/MengShi_/article/details/88871737

此文章并不是单纯的搭建单节点想要只搭建单节点只需要上传解压jdk 和hadoop 并修改环境变量和配置env.sh。多出的东西是为搭建伪分布和完全分布用

一、hadoop单节点

hadoop本地节点(Standalone/local)即安装在单节点(一台主机)的本地模式，也叫独立模式。所有程序都在单个JVM上执行。使用本地文件系统，而不是分布式文件系统。无需运行任何守护进程，hadoop不会启动NameNode、DataNode等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。

二、准备工作

操作系统

w10+vmware

软件要求

jdk-8u172-linux-x64.tar 连接 https://pan.baidu.com/s/1yfkTu0p2y7sNee4qfq8e6A 密码:b9cr
hadoop-2.7.3.tar 链接：https://pan.baidu.com/s/1FAmed6G_JfrOfWjckaHbXg 提取码：h9zh
linux6.8

三、配置详情

1.安装虚拟机和配置网络

实际上单节点是不需要配置网络的。因为要从w10上将jdk和hadoop安装包上传至虚拟机。并且我这台机器需要继续配置伪分布以及完全分布。所以我需要配置网络环境。配置网络其实很简单。不需要的朋友也可以试着配置一下。linux还是很有意思的

我的虚拟机是由一个空白的安装了linux6.8桌面版复制而来。因此我需要修改虚拟机的mac地址。如果你的虚拟机是创建而来，那么可以跳过修改mac地址的步骤。网络使用nat模式。

sudo vim /etc/udev/rules.d/70-persistent-net.rules ----查看网卡信息以及记忆mac地址

# This file was automatically generated by the /lib/udev/write_net_rules
# program, run by the persistent-net-generator.rules rules file.
#
# You can modify it, as long as you keep each rule on a single
# line, and change only the value of the NAME= key.

# PCI device 0x8086:0x100f (e1000)
#SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:90:ab:e6", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"


----------将此处配置注释或删除 



# PCI device 0x8086:0x100f (e1000)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:b2:e7:66", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"


----------记住网卡mac地址 即00:0c:29:b2:e7:66  并将网卡名改为 eth0

2.sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0 -----修改网卡配置文件

DEVICE=eth0
HWADDR=00:0C:29:B2:E7:66  ------将mac地址修改为刚才的mac地址
TYPE=Ethernet
UUID=c74cd800-bd98-4b84-9b67-821f3f8c14a1
ONBOOT=yes                -------将no改为yes 设置开机自动读取网络配置
NM_CONTROLLED=yes
BOOTPROTO=static          -------将dhcp改为static 设置为nat模式
IPADDR=192.168.61.70      -------添加ipaddr ip为vm8网卡同网段 查看方式vmware 编辑-虚拟网络编辑    
                                 器-vm8网卡-nat设置。 或者直接在window下ipconfig 查看vm8的ip
NETMASK=255.255.255.0     ------- 添加netmask 子网掩码 默认为255.255.255.0   
GATEWAY=192.168.61.2      -------添加gateway 默认网关 值为ip最后一位改为2
DNS1=192.168.61.2         -------添加 dns1  默认值何网关相同

3.修改主机名和域名映射(因为我之后要搭建一个三个节点的完全分布集群所以我的映射里面添加了三个从节点的ip)

sudo vim /etc/sysconfig/network -------修改主机名

NETWORKING=yes
HOSTNAME=Ms2   --------------将此处改为主机名

sudo vim /etc/hosts ---------修改主机映射

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.61.70 Ms2          --------------ip 主机名   可以忽略下面三条
192.168.61.71 sv1
192.168.61.72 sv2
192.168.61.72 sv3