（大数据方向）分布式实验一：基于CentOS的伪分布式搭建

目录

什么是伪分布式：

一.实验工具

二.基本设置

1.配置网络

如何查看自己的IP地址，子网掩码，网关IP

2.关闭防火墙

3.关闭 selinux

4.配置主机名

5.配置映射

三.Hadoop伪分布式搭建

1)   xshell xftp工具

2）安装 jdk

3)   Ssh 密钥文件生成和验证

4）安装 hadoop。

5）在浏览器上查看自己的集群

---

什么是伪分布式：

        伪分布式就是假分布式，假就假在只有一台机器而不是多台机器来完成一个任务,但是模拟了分布式的这个过程，所以伪分布式下Hadoop也就是虽然在一个机器上配置了hadoop的所有节点，但伪分布式完成了所有分布式所必须的事件。 伪分布式Hadoop和单机版最大区别就在于需要配置HDFS。

一.实验工具

1.虚拟机工作台：VMware Workstation Pro(博主自己用的是16）

2.操作系统：centos操作系统

3.hadoop：hadoop-2.6.5

二.基本设置

1.配置网络

1.进入虚拟机后右键打开终端

输入：

vim /etc/sysconfig/network-scripts/ifcfg-ens33

进入如下界面（以下是博主已经配置好的，参数含义以及参数是否需要更改已在注释中标明）

YPE=Ethernet               #网卡类型（此处是以太网）
PROXY_METHOD=none          #代理方式：为关闭状态
BROWSER_ONLY=no            #只是浏览器：否
BOOTPROTO=static           #网卡的引导协议（如果是第一次配置应该是“dhcp”，改为“static”）  
                           #static：静态IP  
                           #dhcp：动态IP   
                           #none：不指定，不指定容易出现各种各样的网络受限
DEFROUTE=yes               #默认路由
IPV4_FAILURE_FATAL=no      #是否开启IPV4致命错误检测
IPV6INIT=yes               #IPV6是否自动初始化：是
IPV6_AUTOCONF=yes          #IPV6是否自动配置：是
IPV6_DEFROUTE=yes          #IPV6是否自动初始化：是
IPV6_FAILURE_FATAL=no      #是否开启IPV6致命错误检测
IPV6_ADDR_GEN_MODE=stable-privacy             #IPV6地址生成模型   
NAME=ens33                                    #网卡物理设备名称
UUID=71ed7afe-303f-4981-b430-88fd054005ea     #通用唯一识别码
DEVICE="ens33"		                          #网卡设备名称（必须和‘NAME’值一样）                                 
ONBOOT=yes                                    #是否开机启动

#个人设置（下面有如何查找自己的网络地址等）
IPADDR=192.168.74.128      # IP地址 （需要更改）
NETMASK=255.255.255.0      #子网掩码（需要更改）
GATEWAY=192.168.74.2       #默认网关（需要更改）
DNS1=114.114.114.114       #和博主一样改成114.114.114.114即可

如何查看自己的IP地址，子网掩码，网关IP

（1）打开VMware... 在左边的库中单击选中要查找的虚拟机

 （2）找到左上方的编辑并点击虚拟网络编辑器（编辑——>虚拟网络编辑器）

注明：可以点击下方的更改设置，可以自己更改地址（需要管理员身份）

 

 点击NAT设置，和DHCP设置

 

 2.配置完成后进行重新加载

service network restart

 2.关闭防火墙

sudo systemctl stop firewalld //关闭防火墙
sudo systemctl disable fir