Hadoop集群搭建清洗数据

1、配置虚拟机的主机名和IP映射

① 修改主机名

查看主机名：cat /etc/hostname

修改主机名：hostnamectl set-hostname node2 ;

修改后不会立即生效，执行reboot命令；

② 配置虚拟机的网络参数

③ 修改映射文件：

分别在3台虚拟机中执行：vi /etc/hosts 以编辑映射文件hosts，在该文件的最后添加以下内容：

192.168.150.101 node1

192.168.150.102 node2

192.168.150.103 node3

2、配置虚拟机的网络参数

①编辑3台虚拟机的网卡配置文件：

执行命令：vi /etc/sysconfig/network-scripts/ifcfg-ens33

1. 1. 1. 1.        修改的值为：BOOTPROTO="static"
         2. 添加以下信息：

IPADDR=192.168.88.151/152/153

NETMASK=255.255.255.0

GATEWAY=192.168.88.2 【第4段的“2”修改为：与NAT配置中的网关值保持一致】

DNS=114.114.114.144

② （可以不做）修改网卡配置文件中的UUID

由于node2和node3机器是由node1克隆而来，所以它们3个的UUID是相同的，会发生冲突，所以需要会node2和node3重新生成UUID以替换网卡配置文件中默认的UUID。具体命令为：sed  -i  '/UUID=/c\UUID='`uuidgen`''  /etc/sysconfig/network-scripts/ifcfg-ens32

③ 修改完网络配置后都需要重启网络服务，执行命令：systemctl restart network

④ 验证：

1. 1. 1. 1. 验证3台机器的ip地址： ip addr;
         2. 验证3台机器的联网状态：ping www.baidu.com;无法连接解决方法：关闭networkmanager然后重启network。sudo systemctl stop networkmanager。sudo systemctl start network
         3. 验证3台机器的主机名，用一台ping另外两台的主机名，比如在Node1中：ping node2 // ping node3;

3、配置虚拟机的SSH远程登录

① 在Node1中分别执行：“rpm -qa | grep ssh”和“ps -ef | grep sshd”，查看当前虚拟机是否安装和开启ssh服务。

从上图可看到Node1已经默认安装并开启了ssh服务。

如果没有安装ssh，请执行命令：yum install open-server ;如果没有开启ssh，请执行命令：systemctl start sshd ;

② 使用远程连接工具FinalShell连接3台机器

4、配置虚拟机SSH免密登录功能

① 在主节点Node1中生成密钥，执行命令：ssh-keygen -t rsa

②在主节点Node1中执行3条命令：ssh-copy-id node1 ，ssh-copy-id node2 ，ssh-copy-id node3

③ 测试免密登录：

1）从node1可以免密登录到node2和node3;

2）但从node2不能登录到node3和node1;

3）执行exit命令可退出对node2的访问，回到node1;

sudo nano /etc/yum.repos.d/CentOS-Base.repo

[base]

name=CentOS-$releasever - Base - mirrors.aliyun.com

baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/

gpgcheck=1

gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7