1.cdh搭建-网络环境准备

最新推荐文章于 2020-08-28 18:01:39 发布

原创最新推荐文章于 2020-08-28 18:01:39 发布 · 587 阅读

1 ·

CC 4.0 BY-SA版权

cloudera 专栏收录该内容

4 篇文章

订阅专栏

本文详细介绍了如何在CentOS 7环境下搭建CDH集群，包括四个节点的基本配置、网络环境设置、域名映射、防火墙及SELinux关闭、SSH免密登录配置、NTP时钟同步等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

CDH集群搭建

基本环境

系统: centos 7
4个节点：
  master  192.168.1.31   8g 2*4核  60g硬盘   ghome安装
  slave1  192.168.1.41   4g 2*2核  40g硬盘   计算节点安装
  slave2  192.168.1.42   4g 2*2核  40g硬盘   计算节点安装
  slave3  192.168.1.43   4g 2*2核  40g硬盘   计算节点安装

网络环境设置

设置固定ip

su root
systemctl stop network.service
vi /etc/sysconfig/network-scripts/ifcfg-ens33

#注释所有IPV6*
#BOOTPROTO=dhcp ==》BOOTPROTO=static
#插入
  IPADDR=192.168.1.*
  GATEWAY=192.168.1.1
  DNS1=8.8.8.8
(错误备忘:
  一开始设置的是DNS=8.8.8.8,导致不能ping通外网
)
:wq

systemctl stop network.service
systemctl start network.service

设置域名映射

master> vi /etc/hosts

      127.0.0.1   localhost.localdomain   localhost
      ## cloudera
      192.168.1.31  master.reco.com   master
      192.168.1.41  slave1.reco.com   slave1
      192.168.1.42  slave2.reco.com   slave2
      192.168.1.43  slave3.reco.com   slave3
:wq

master> scp /etc/hosts root@slave[1-3]:/etc/hosts

关闭防火墙和selinux

## 查看防火墙状态
firewall-cmd --state
## 关闭防火墙
systemctl stop firewalld
## 关闭开机启动
systemctl disable firewalld

##查看selinux状态
sestatus
##永久关闭
vi /etc/selinux/config

      SELINUX=disabled
      SELINUXTYPE=targeted

:wq

reboot

ssh免密登录

# 每个节点执行
ssh-keygen -t rsa （一路回车）
ls ~/.ssh   (查看生成的id_rsa,id_rsa.pub  -- 公钥和私钥)

#每个节点执行
ssh-copy-id root@master （将公钥都加到master节点）

#在master节点
cat ~/.ssh/authorized_keys (查看是否已添加所有节点)

#把master节点的keys复制到每台slave
scp ~/.ssh/authorized_keys root@slave[1-3]:~/.ssh/

#重启ssh服务(每个节点)
systemctl stop sshd.service
systemctl start sshd.service

#测试免密登录
ssh slave[1-3]

ntp时钟同步

## 检查是否已安装ntp
rpm -q ntp
## 安装ntp（未安装的情况下）
yum -y install ntp

# 1. master:
## 设置前先同步一次时钟
 ntpdate -u 202.112.10.36
## 配置 /etc/ntp.conf
vi /etc/ntp.conf

    # 允许内网其他机器同步时间
    (删掉注释)restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
    # 中国这边最活跃的时间服务器 : http://www.pool.ntp.org/zone/cn
    （删掉原有的server 0~4）
    server 210.72.145.44 perfer   # 中国国家受时中心
    server 202.112.10.36             # 1.cn.pool.ntp.org
    server 59.124.196.83             # 0.asia.pool.ntp.org

    # allow update time by the upper server
    # 允许上层时间服务器主动修改本机时间
    （添加）restrict 210.72.145.44 nomodify notrap noquery
    restrict 202.112.10.36 nomodify notrap noquery
    restrict 59.124.196.83 nomodify notrap noquery
    # 外部时间服务器不可用时，以本地时间作为时间服务
    server  127.127.1.0     # local clock
    fudge   127.127.1.0 stratum 10

:wq

systemctl stop ntpd.service
systemctl start ntpd.service
systemctl enable ntpd.service

## 检查nptd状态
netstat -tlunp | grep ntp
ntpq -p

# 2. slave[1-3] :

vi /etc/ntp.conf

    # 配置时间服务器为本地的时间服务器
    server 192.168.1.31
    restrict 192.168.1.31 nomodify notrap noquery
    server  127.127.1.0     # local clock
    fudge   127.127.1.0 stratum 10
:wq

## 先与master进行一次同步
 ntpdate -u 192.168.1.31

## 启动ntp
systemctl stop ntpd.service
systemctl start ntpd.service
systemctl enable ntpd.service