大数据（1b）虚拟机CentOS7集群网络配置

集群规划	hadoop100	hadoop101	hadoop102	hadoop103	hadoop104	hadoop105
IP地址	192.168.1.100	192.168.1.101	192.168.1.102	192.168.1.103	192.168.1.104	192.168.1.105

1、网络配置

1、关闭防火墙自启、关闭防火墙（每台机都执行）

systemctl disable firewalld
systemctl stop firewalld

2、编辑网络脚本（另两台IPADDR为：192.168.1.101、192.168.1.102）

vi /etc/sysconfig/network-scripts/ifcfg-ens33

# 静态（修改项）
BOOTPROTO="static"
# 在系统启动时是否激活网卡，只有在激活状态的网卡才能去连接网络（修改项）
ONBOOT="yes"
# 网关（添加项）
GATEWAY=192.168.1.2
# 域名解析器（添加项）
DNS1=192.168.1.2
# IP地址（添加项）
IPADDR=192.168.1.100

3、修改集群网络映射

echo '192.168.1.100 hadoop100' >> /etc/hosts
echo '192.168.1.101 hadoop101' >> /etc/hosts
echo '192.168.1.102 hadoop102' >> /etc/hosts
cat /etc/hosts

4、分别修改每台机的主机名（下面两种命令都可）

echo "hadoop100" > /etc/hostname

echo "hadoop101" > /etc/hostname

hostnamectl --static set-hostname hadoop102

5、重启

reboot

ifconfig查看网络，hostname查看主机名，看看是否改对

2、安装Linux基础

命令	全称	说明	示例	备注
yum	Yellow dog Updater, Modified	Shell前端软件包管理器	yum -y vim	-y表示安装过程全选"yes"

yum install -y epel-release

• EPEL的全称：Extra Packages for Enterprise Linux
• EPEL提供高质量软件包；装上了 EPEL之后，就相当于添加了一个第三方源

yum install -y net-tools vim tree lrzsz nc

命令	说明	示例	备注
net-tools	网络工具	ifconfig	查看IP地址
vim	类Unix系统文本编辑器
tree	以树状图列出目录	tree -L 2	-L 2只看2层
lrzsz	在linux里可代替ftp上传和下载的程序	rz -b	rz是上传，sz是下载 有弹窗，选择文件即可上传 -b是二进制方式
netcat	网络数据传输工具	nc -lk 731	-l,--listen：Bind and listen for incoming connections -k,--keep-open：Accept multiple connections in listen mode

yum install -y psmisc rsync ntp iotop git

命令	全称	说明	备注
rsync	Remote Sync	远程同步	文件传输
ntp	Network Time Protocol	网络时间协议	集群时间同步
psmisc	A package of small utilities that use the proc file-system	进程管理，如：杀进程	Hadoop集群高可用【ssh fence】的前提 DolphinScheduler的依赖之一
iotop		监视磁盘I/O使用状况
git		开源的分布式版本控制系统

3、集群间免密登录

点击此处可查看：免密登录原理详解

1、生成公钥和私钥，一路回车，留意路径（默认在/root/）

ssh-keygen -t rsa

2、生成authorized_keys，填yes和密码

ssh-copy-id -i /root/.ssh/id_rsa.pub hadoop100

3、将整个文件夹发送到另外两台机，填yes和密码

scp -r /root/.ssh hadoop101:/root

scp -r /root/.ssh hadoop102:/root

• 集群免密登录配好了，后述命令在hadoop100上执行，不用切来切去！

4、其它补充

4.1、WIN10网络映射配置【hosts】

去到C:\Windows\System32\drivers\etc以管理员身份编辑hosts文件，添加下面内容

192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
192.168.1.109 hadoop109

4.2、VIM配置

https://blog.youkuaiyun.com/Yellow_python/article/details/104279173

4.3、创建用户并配置免密sudo权限

https://yellow520.blog.youkuaiyun.com/article/details/115495027