三台机器集群搭建

最新推荐文章于 2023-10-09 22:02:14 发布

jan0215

最新推荐文章于 2023-10-09 22:02:14 发布

阅读量1.8k

点赞数 2

本文链接：https://blog.youkuaiyun.com/qq_42612645/article/details/83415241

版权

本文详细介绍了如何在三台机器上搭建CDH集群，包括环境准备、SSH免密登录、JDK安装、YUM源配置、MySQL安装以及Hadoop相关配置。此外，还涵盖了Kafka的安装、配置、启动、测试以及创建和管理主题的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下载的地址：

http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.14.2.tar.gz http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.2.tar.gz http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.2.tar.gz http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.14.2.tar.gz http://archive.cloudera.com/cdh5/cdh/5/spark-1.6.0-cdh5.14.2.tar.gz http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.2.tar.gz http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.14.2.tar.gz http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.14.2.tar.gz

配置：

一：初始化环境部署处理
============================
注：安装过程都使用root用户

CDH 安装在/opt。
============================
1.1 环境准备：
   Centos7.3x64 所有主机名配置配置好所有机器的无密钥登陆

1.2 主机名配置
   主机名 IP
   master 192.168.9.80
   slave1 192.168.9.20
   slave2 192.168.9.220

   配置/etc/hostname
   分别是master和slave1和slave2

   3台都配置/etc/hosts

   加入:
   192.168.9.80 master
   192.168.9.20 slave1
   192.168.9.220 slave2

1.3 关闭防火墙
       systemctl stop firewalld.service
       systemctl disable firewalld.service
       firewall-cmd

       关闭iptables：
       iptables -F
       systemctl stop iptables.service
       service iptables save
       systemctl disable iptables.service

       禁用 selinux ：
       vi /etc/selinux/config
       将selinux=enforcing改成selinux=disabled

1.4 配置SSH免密登录
   1.每台服务器下都输入命令 ssh-keygen -t rsa，生成 key，一律不输入密码，直接回车，/root 就会生成 .ssh 文件夹。
       注意（.ssh文件默认隐藏,使用ls -al 即可查看）

   2.在 192.168.9.80 服务器下，合并公钥到 authorized_keys 文件，进入 /root/.ssh 目录，通过 SSH 命令合并.
       cat id_rsa.pub>> authorized_keys
   ssh root@192.168.9.20 cat ~/.ssh/id_rsa.pub>> authorized_keys
   ssh root@192.168.9.220 cat ~/.ssh/id_rsa.pub>> authorized_keys
   3.把 192.168.9.80 服务器的 authorized_keys、known_hosts 复制到 192.168.9.20、192.168.9.220 服务器的 /root/.ssh 目录
       scp authorized_keys root@192.168.9.20:/root/.ssh/
       scp authorized_keys root@192.168.9.220:/root/.ssh/
       scp known_hosts root@192.168.9.20:/root/.ssh/
       scp known_hosts root@192.168.9.220:/root/.ssh/

       到192.168.9.20下
       scp ~/.ssh/authorized_keys slave2:~/.ssh/
       到192.168.85.220下
       scp ~/.ssh/authorized_keys master:~/.ssh/
       scp ~/.ssh/authorized_keys slave1:~/.ssh/

1.5 所有机器配置JDK1.8
   rpm -qa | grep java 如果有的话请先卸载
   卸载命令：rpm –e --nodeps(忽略依赖) 安装包名
   下载jdk-8u171-linux-x64.tar.gz
       上传到目录/software

       解压:tar xzvf jdk-8u171-linux-x64.tar.gz -C /opt/
       配置环境变量
           vim /etc/profile

           export JAVA_HOME=/opt/jdk1.8.0_171
           export PATH=$JAVA_HOME/bin:$PATH
           export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
       使环境变量生效
           source /etc/profile

1.5 所有机器配置外部YUM源
   备份/etc/yum.repos.d/CentOS-Base.repo
       cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

   将yum配置文件放入到yum.repos.d文件夹下
       cp CentOS7-Base-163.repo /etc/yum.repos.d/
   进入yum源配置文件所在文件夹
       cd /etc/yum.repos.d
   运行yum makecache生成缓存
       yum makecache
   更新系统(时间比较久,主要看个人网速)
       yum -y update

   安装ntp服务
       yum install ntp

1.7 配置ntp服务器（master）
   https://blog.youkuaiyun.com/worldchinalee/article/details/82109932
   1.安装ntp
       yum -y install ntp
   2.在master查看是否启动ntp服务：
       service ntpd status
   3.同步时间
       ntpdate pool.ntp.org
   4.修改本地机器作为ntp服务器
       cd /etc/
       mv ntp.conf ntp.conf.bak
       vim ntp.conf
       # 修改后的内容如下：
       # 系统时间与BIOS时间的偏差记录
       driftfile /var/lib/ntp/drift
       # restrict控制权限
       # 对于默认的client拒绝所有的操作
       restrict default kod nomodify notrap nopeer noquery
       # 针对ipv6的默认client操作
       restrict -6 default kod nomodify notrap nopeer noquery
       # 允许本机访问
       restrict 127.0.0.1
       restrict -6 ::1
       # 允许网段10.75.299访问
       restrict 10.75.229.0 mask 255.255.255.0 nomodify notrap
       # 本机作为ntp源
       server 127.127.1.0
       fudge 127.127.1.0 stratum 10
   4.同步硬件时钟
       vim /etc/sysconfig/ntpd
       SYNC_HWCLOCK=yes
   5.确认服务器状态
       # pgrep ntpd
       # netstat -tlunp|grep ntp
       # ntpstat
       # ntpq -p
   6.配置客户端
       先在客户端安装ntp服务:
       yum install ntp ntpdate -y

       ntpdate 192.168.9.80

       每天晚上1点同步时间
       crontab -e 00 01 * * * root /usr/sbin/ntpdate 192.168.9.80; /sbin/hwclock -w
1.8安装mysql(5.6.41)
1、先检查系统是否装有mysql
       rpm -qa | grep mysql如果有的话请先卸载(yum remove mysql)

       rpm -e --nodeps

       这里返回空值，说明没有安装
   2、下载mysql的repo源
       wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
       补充：如果这里wget命令不能用则用yum安装wget
       yum install wget

   3.安装mysql-community-release-el7-5.noarch.rpm包
       sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm

   4.安装mysql
       sudo yum install mysql-server

       根据步骤安装就可以了，不过安装完成后，没有密码，需要重置密码。

       安装后再次查看mysql
   5.安装完毕后启用mysql服务
       # systemctl start mysqld
       # systemctl status mysqld

       接下来登录重置密码：
       mysql -u root -p
       mysql > use mysql;
       mysql > update user set password=password('123456') where user='root';
       mysql > exit;
       重启mysql服务后才生效 # systemctl restart mysqld

       必要时加入以下命令行，为root添加远程连接的能力。链接密码为 “root”（不包括双引号）

mysql> grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;

查询数据库编码格式，确保是 UTF-8

           show variables like "%char%";
           set names utf8;

   6.配置mysql

       6.1 mysql安装在主节点上，使用mysql命令登录

6.2 新建一个scm用户，并赋予所有权限，密码是scm

           mysql> grant all on *.* to 'scm'@'localhost' identified by 'temp' with grant option;

           Query OK, 0 rows affected, 1 warning (0.00 sec)
7.查看安装的mysql版本:mysql -V

   8.重启mysql命令：systemctl restart mysqld

   9. 开机启动
systemctl enable mysqld.service
==========================================================================================================
二： CDH5.14.2 安装与配置
1、配置HADOOP
   新建用户hadoop，从root用户获取/opt文件夹的权限，所有节点都要执行
   useradd -m hadoop -s /bin/bash
   passwd hadoop
   chown -R hadoop /opt/
   chown -R hadoop /software

   解压Hadoop
   tar -zxvf /software/hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/

最低0.47元/天解锁文章