Centos7 cdh5.14 安装

最新推荐文章于 2020-06-11 17:12:35 发布

转载最新推荐文章于 2020-06-11 17:12:35 发布 · 244 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/lwenhao/blog/3022348

文章标签：

#开发工具 #运维 #java

本文详细介绍了在CentOS7环境下搭建CDH5.14大数据集群的全过程，包括环境配置、软件安装、服务启动及Cloudera Manager管理页面的使用。从关闭SELINUX和防火墙、配置hosts文件、实现SSH无密登录，到安装配置JDK、MySQL、Cloudera Manager及CDH，直至启动服务和配置数据库，提供了全面的操作指南。

2019独角兽企业重金招聘Python工程师标准>>>

Centos7 cdh5.14 安装

192.168.1.70
192.168.1.71
192.168.1.72

关闭`SELINUX`

vim /etc/selinux/config

将SELINUX=enforcing改成SELINUX=disabled

关闭防火墙

关闭防火墙（服务器重启后，防火墙会开启）

systemctl stop firewalld.service

禁止防火墙开机启动（服务器重启后，防火墙不会开启）

systemctl disable firewalld.service

修改hostname

hostnamectl set-hostname xxxx

配置hosts文件

vim /etc/hosts

添加：

192.168.1.70 cdh1
192.168.1.71 cdh2
192.168.1.72 cdh3

ssh无密登录

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

master免密码登录worker【单台，只需在主节点上执行】

ssh-copy-id -i ~/.ssh/id_rsa.pub cdh1
ssh-copy-id -i ~/.ssh/id_rsa.pub cdh2
ssh-copy-id -i ~/.ssh/id_rsa.pub cdh3

时钟同步

设置开机自动同步Internet时间，并作定时同步任务

修改时区

rm -rf /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

vim /etc/sysconfig/clock

ZONE="Asia/Shanghai"
UTC=false
ARC=false

安装并设置开机自启

yum install -y ntp
systemctl start ntpd
systemctl enable ntpd

配置开机启动校验

vim /etc/rc.d/rc.local /usr/sbin/ntpdate ntp1.aliyun.com > /dev/null 2>&1; /sbin/hwclock -w

配置定时任务

crontab -e
0 */1 * * * ntpdate ntp1.aliyun.com > /dev/null 2>&1; /sbin/hwclock -w

安装jdk

下载jdk-8u201-linux-x64.rpm

下载地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

chmod 755 jdk-8u201-linux-x64.rpm
rpm -i jdk-8u201-linux-x64.rpm

配置环境变量：

export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar
export PATH=$PATH:$JAVA_HOME/bin

安装wget

yum install wget

安装MySQL5.7

mysql只需在主节点安装
mysql5.6开始mysql服务启动时会为root用户生成一个临时密码，通过grep 'password' /var/log/mysqld.log命令获取
配置密码验证策略，我选择的是不使用密码验证策略，以便创建简单密码
配置数据库字符集，我配置默认的字符集是utf8。

下载安装mysql

下载并安装MySQL官方的 Yum Repository

wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

使用上面的命令就直接下载了安装用的Yum Repository，然后就可以直接yum安装了。

yum -y install mysql57-community-release-el7-10.noarch.rpm

之后就开始安装MySQL服务器。

yum -y install mysql-community-server

mysql配置

首先启动MySQL

systemctl start  mysqld.service

通过如下命令可以在日志文件中找出密码：

grep "password" /var/log/mysqld.log

登录之后修改密码策略：

set global validate_password_policy=0;
set global validate_password_mixed_case_count=0;
set global validate_password_number_count=3;
set global validate_password_special_char_count=0;
set global validate_password_length=3;

修改初始化密码：

ALTER USER 'root'@'localhost' IDENTIFIED BY '654321';

配置mysql

新建一个scm用户，并赋予所有权限，密码是scm

grant all on *.* to 'scm'@'127.0.0.1' identified by 'scm' with grant option;
grant all on *.* to 'cdhuser'@'%' identified by '654321' with grant option;
flush privileges;

安装Clouder Manager及CDH

所有节点操作:

新建目录

mkdir /opt/cloudera-manager

上传Cloudera Manager安装包,下载地址：https://www.cloudera.com/downloads/cdh/5-14-2.html 解压

tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

创建用户cloudera-scm，由于Cloudera Manager和Managed Services默认使用cloudera-scm，所以需要创建此用户

useradd --system --home=/opt/cloudera-manager/cm-5.14.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

【主节点】创建Cloudera Manager服务本地数据存储目录

mkdir /var/lib/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

配置【所有节点】的Agent

vim /opt/cloudera-manager/cm-5.14.1/etc/cloudera-scm-agent/config.ini

将server_host修改成主节点的主机名，如果主节点端口没有自定义，则不用修改。

下载mysql-connector-java.jar,并保存到所有主机的/usr/share/java目录下要解压到java目录下，并重命名成mysql-connector-java.jar

初始化

创建数据库scm

create database scm;

注意字符集，我选用的是utf-8

初始化cloudera manager

/opt/cloudera-manager/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh  mysql scm scm scm

将CDH安装包移动主节点的/opt/cloudera/parcel-repo目录下下载地址：https://www.cloudera.com/downloads/cdh/5-14-2.html

mkdir -p /opt/cloudera/parcel-repo
mv CDH-5.14.4-1.cdh5.14.4.p0.3-el7.parcel /opt/cloudera/parcel-repo/
mv CDH-5.14.4-1.cdh5.14.4.p0.3-el7.parcel.sha /opt/cloudera/parcel-repo/
mv manifest.json /opt/cloudera/parcel-repo/

启动主节点的CM Server和所有节点的Agent 提示没有找到命令pstree时，安装这个：

yum install psmisc

cd /opt/cloudera-manager/cm-5.14.1/etc/init.d

主节点：

./cloudera-scm-server start
./cloudera-scm-agent start

其他节点：

./cloudera-scm-agent start

打开CM管理页面

http://192.168.1.70:7180

用户名和密码都是admin

转载于:https://my.oschina.net/lwenhao/blog/3022348