CDH安装总结

最新推荐文章于 2025-06-24 17:39:58 发布

原创最新推荐文章于 2025-06-24 17:39:58 发布 · 326 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#CDH

CDH 专栏收录该内容

0 篇文章

订阅专栏

CDH安装：

1.查看环境要求：

在CDH官网查看安装CM需要的环境要求：https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_jdk

本次安装CM5.15.0

2.环境于版本准备

系统环境：centos7.5 查看版本命令：cat /etc/*release*

JDK:1.8

CM版本：5.15.0

MySQL：mysql5.5

3.系统准备

准备3台服务器，内存配置分别为16G,4G,4G

1.此处使用虚拟机，需要注意的是，在安装虚拟机的时候不要选用中午，直接选着英文安装，不然在后续安装过程中可能会出现一些莫名的错误。

2.时间同步：

yum install -y ntp

systemctl start ntpd

systemctl enable ntpd

ntpdate -u cn.pool.ntp.org

3.更改主机名：

分别在三台不同的机器上执行：

hostnamectl set-hostname node1

hostnamectl set-hostname node2

hostnamectl set-hostname node3

在/etc/hosts中配置主机ip（三台机器都要做）

4.关闭所有机上的防火墙：

systemctl stop firewalld

systemctl disable firewalld

5.关闭selinex

setenforce 0

vim /etc/selinux/confix(selinux=disabled)

6.三台机器免密钥登陆

ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

分别将各自的密钥传到其他两台机器上：

scp ~/.ssh/id_dsa.pub root@node1:/tmp/

然后分别将这些密钥写到~/.ssh/authorized_keys中

cat /tmp/id_dsa.pub >> ~/.ssh/authorized_keys

4.JDK环境

分别在三台机器上配置

java version “1.8.0_181”

5.选择CM Server 与 CM Agent

node1 : server , agent

node2: agent

node3: agent

6.CM server 安装Mysql5.5

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm
yum update

这样默认安装的是mysql5.6，所以需要调整为:5.5的enabled为1， 5.6的enabled为0
vim /etc/yum.repos.d/mysql-community.repo
[mysql55-community]
name=MySQL 5.5 Community Server
baseurl=http://repo.mysql.com/yum/mysql-5.5-community/el/7/$basearch/
enabled=1
gpgcheck=1
gpgkey=file:/etc/pki/rpm-gpg/RPM-GPG-KEY-mysql

# Enable to use MySQL 5.6
[mysql56-community]
name=MySQL 5.6 Community Server
baseurl=http://repo.mysql.com/yum/mysql-5.6-community/el/7/$basearch/
enabled=0
gpgcheck=1
gpgkey=file:/etc/pki/rpm-gpg/RPM-GPG-KEY-mysql

yum install mysql-server
yum install mysql-devel

systemctl start mysqld
systemctl enable mysqld

更新mysql账号密码：
mysql -u root 
use mysql
update user set password = password('123456');
flush privileges;

7.安装第三方依赖（Server， Agent）

yum install -y chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod_ssl

8.下载CM,CH表

http://archive-primary.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.15.0_x86_64.tar.gz

http://archive.cloudera.com/cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1

http://archive.cloudera.com/cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel

http://archive.cloudera.com/cdh5/parcels/5.15.0/manifest.json

9.CM安装

Server， Agent

mkdir /opt/cloudera-manager

tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

创建用户cloudera-scm

useradd --system --no-create-home --shell=/bin/false --comment “Cloudera SCM User” cloudera-scm

修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中 server_host以及server_port

Server

配置CM Server数据库

拷贝mysql jar文件到目录 /usr/share/java/

注意jar包名称要修改为mysql-connector-java.jar
grant all on . to ‘temp’@’%’ identified by ‘temp’ with grant option;

cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/

./scm_prepare_database.sh mysql temp -h node1 -uroot -p123456 --scm-host node1 scm scm scm

格式：数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器

创建Parcel目录

Server节点

mkdir -p /opt/cloudera/parcel-repo

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

Agent节点

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

Server节点

制作CDH本地源

将下载好文件 CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel开始的文件以及manifest.json，文件放到server节点的 /opt/cloudera/parcel-repo下。

启动CM Server、Agent ，做该操作前建议先做快照

cd /opt/cloudera-manager/cm-5.10.0/etc/init.d/

./cloudera-scm-server start

Sever首次启动会自动创建表以及数据，不要立即关闭或重启，否则需要删除所有表及数据重新安装

./cloudera-scm-agent start