Cloudera Manager Server安装

最新推荐文章于 2025-05-28 22:25:06 发布
原创 最新推荐文章于 2025-05-28 22:25:06 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了Cloudera Manager Server和Agent的安装过程。包括创建安装目录、解压安装介质、创建系统用户、安装数据库驱动、初始化数据库、配置server指向、部署CDH离线安装包等步骤，还提及服务启动及集群安装的后续网页操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Cloudera Manager Server安装

 

核心命令备份

Cloudera Manager Server安装

创建/opt/cloudera-manager安装目录并解压安装介质

mkdir /opt/cloudera-manager
tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

重新配置的话需要删除

rm -f /home/hadoop/cloudera-manager/cm-5.15.1/lib/cloudera-scm-agent/cm_guid

创建系统用户cloudera-scm

useradd --system --home=/home/hadoop/cloudera-manager/cm-5.15.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

验证用户是否创建成功：

cat /etc/passwd | grep cloudera-scm

 

 

grant all privileges on *.* to 'root'@'localhost' identified by 'abcd1234' with grant option;
 
grant all privileges on *.* to 'root'@'nginx' identified by 'abcd1234' with grant option;
 
grant all privileges on *.* to 'root'@'127.0.0.1' identified by 'abcd1234' with grant option;
 
grant all privileges on *.* to 'root'@'%' identified by 'abcd1234' with grant option;
 
 
grant all privileges on *.* to 'scm'@'localhost' identified by 'scm' with grant option;
 
grant all privileges on *.* to 'scm'@'hadoop1' identified by 'scm' with grant option;
 
grant all privileges on *.* to 'scm'@'127.0.0.1' identified by 'scm' with grant option;
 
grant all privileges on *.* to 'scm'@'%' identified by 'scm' with grant option;



grant all on amon.* TO 'hadoop'@'%' IDENTIFIED BY 'abcd1234';
grant all on rman.* TO 'hadoop'@'%' IDENTIFIED BY 'abcd1234';
grant all on metastore.* TO 'hadoop'@'%' IDENTIFIED BY 'abcd1234';
grant all on sentry.* TO 'hadoop'@'%' IDENTIFIED BY 'abcd1234';
grant all on nav.* TO 'hadoop'@'%' IDENTIFIED BY 'abcd1234';
grant all on navms.* TO 'hadoop'@'%' IDENTIFIED BY 'abcd1234';

create database oozie DEFAULT CHARACTER SET utf8;
grant all on oozie.* TO 'hadoop'@'%' IDENTIFIED BY 'abcd1234';

create database scm DEFAULT CHARACTER SET utf8;
grant all on scm.* TO 'hadoop'@'%' IDENTIFIED BY 'abcd1234';



 sudo /home/hadoop/cloudera-manager/cm-5.15.1/share/cmf/schema/scm_prepare_database.sh mysql scm hadoop

创建server存储目录

mkdir /var/lib/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

创建hadoop离线安装包存储目录

mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

配置agent的server指向

vi /home/hadoop/cloudera-manager/cm-5.15.1/etc/cloudera-scm-agent/config.ini

将server_host修改为cloudera manager server的主机名,对于本示例而言，也就是server主机ns1。

部署CDH离线安装包

mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
mv CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha manifest.json /opt/cloudera/parcel-repo/

启动Cloudera Manager Server

/opt/cloudera-manager/cm-5.15.1/etc/init.d/cloudera-scm-server start

启动Cloudera Manager Agent

/opt/cloudera-manager/cm-5.15.1/etc/init.d/cloudera-scm-agent start
 

Cloudera Manager Agent安装

安装数据库驱动

mkdir -p /usr/share/java
cp mysql-connector-java-8.0.12.jar /usr/share/java/mysql-connector-java.jar

创建安装目录并解压安装介质

mkdir /home/hadoop/cloudera-manager
tar xzf cloudera-manager*.tar.gz -C /home/hadoop/cloudera-manager

建系统用户cloudera-scm

useradd --system --home=/home/hadoop/cloudera-manager/cm-5.15.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

验证用户是否创建成功：

cat /etc/passwd | grep cloudera-scm

创建hadoop离线安装包存储目录

mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

配置agent的server指向

vim  /home/hadoop/cloudera-manager/cm-5.15.1/etc/cloudera-scm-agent/config.ini

将server_host修改为cloudera manager server的主机名,对于本示例而言，也就是server主机ns1。
启动Cloudera Manager Agent

/opt/cloudera-manager/cm-5.15.1/etc/init.d/cloudera-scm-agent start

服务均显示启动成功后，才进行下一步操作。若服务没有启动成功，则需要查看相关日志文件，解决了问题之后方可进行下一步。
 

 

 

 

 

 

server的安装就只在server主机上执行：
1、上传安装包

Cloudera Manager 安装包：cloudera-manager-centos7-cm5.15.1_x86_64.tar.gz

MySQL驱动包：mysql-connector-java-8.0.12.tar.gz

大数据离线安装库：

CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel

CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha

manifest.json
2、创建相关安装目录并解压安装介质
创建//home/hadoop/cloudera-manager安装目录并解压安装介质

    mkdir //home/hadoop/cloudera-manager
    tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

安装数据库驱动并初始化数据库

安装数据库驱动

    #解压数据库驱动包，得到一个mysql-connector-java-8.0.12文件夹，里面有一个mysql-connector-java-8.0.12.jar文件
    tar xzf mysql-connector-java-8.0.12.tar.gz
     
    mkdir -p /usr/share/java
    cp mysql-connector-java-8.0.12.jar s

初始化数据库
创建系统用户cloudera-scm

useradd --system --home=/opt/cloudera-manager/cm-5.15.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

useradd --system --home=/home/hadoop/cloudera-manager/cm-5.15.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 

验证用户是否创建成功：

cat /etc/passwd | grep cloudera-scm

    #设置CM数据库的权限
    mysql -uroot -p    #进入mysql数据库
    mysql> grant all privileges on *.*  to 'root'@'%' identified by 'abcd1234' with grant option;
    mysql> grant all privileges on *.* to 'root'@'nginx' identified by 'abcd1234' with grant option;
    mysql> flush privileges;
    mysql> use  mysql;
    mysql> select host ,user from user;    
     

当运行初始化数据库脚本语句：cm-5.13.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

之前，进入mysql：mysql -hlocalhost -uroot -p，执行一下sql语句，否则有可能报错：
---------------------  

grant all privileges on *.* to 'root'@'localhost' identified by 'abcd1234' with grant option;

grant all privileges on *.* to 'root'@'nginx' identified by 'abcd1234' with grant option;

grant all privileges on *.* to 'root'@'127.0.0.1' identified by 'abcd1234' with grant option;

grant all privileges on *.* to 'root'@'%' identified by 'abcd1234' with grant option;


grant all privileges on *.* to 'scm'@'localhost' identified by 'scm' with grant option;

grant all privileges on *.* to 'scm'@'hadoop1' identified by 'scm' with grant option;

grant all privileges on *.* to 'scm'@'127.0.0.1' identified by 'scm' with grant option;

grant all privileges on *.* to 'scm'@'%' identified by 'scm' with grant option;

 

 

 

grant all on amon.* TO 'hadoop'@'%' IDENTIFIED BY 'abcd1234';
grant all on rman.* TO 'hadoop'@'%' IDENTIFIED BY 'abcd1234';
grant all on metastore.* TO 'hadoop'@'%' IDENTIFIED BY 'abcd1234';
grant all on sentry.* TO 'hadoop'@'%' IDENTIFIED BY 'abcd1234';
grant all on nav.* TO 'hadoop'@'%' IDENTIFIED BY 'abcd1234';
grant all on navms.* TO 'hadoop'@'%' IDENTIFIED BY 'abcd1234';

create database oozie DEFAULT CHARACTER SET utf8;
grant all on oozie.* TO 'hadoop'@'%' IDENTIFIED BY 'abcd1234';

create database scm DEFAULT CHARACTER SET utf8;
grant all on scm.* TO 'hadoop'@'%' IDENTIFIED BY 'abcd1234';





 sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql scm hadoop

 

 

 


    #进入ns1服务器以下文件夹，执行脚本命令，事先确认已经将mysql-connector-java.jar放入/usr/share/java文件夹中
    cd /opt/cloudera-manager/cm-5.15.1/share/cmf/schema
    ./scm_prepare_database.sh mysql -h ns1 -utemp -ptemp --scm-host ns1 scm scm scm    

./scm_prepare_database.sh mysql -h nginx -utemp -ptemp --scm-host nginx scm scm scm

创建server存储目录

    mkdir /var/lib/cloudera-scm-server
    chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

创建hadoop离线安装包存储目录

    mkdir -p /opt/cloudera/parcels
    chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

配置agent的server指向

vi /home/hadoop/cloudera-manager/cm-5.15.1/etc/cloudera-scm-agent/config.ini

将server_host修改为cloudera manager server的主机名,对于本示例而言，也就是server主机ns1。
部署CDH离线安装包

    mkdir -p /opt/cloudera/parcel-repo
    chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
    mv CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha manifest.json /c

启动Cloudera Manager Server

/opt/cloudera-manager/cm-5.15.1/etc/init.d/cloudera-scm-server start

启动Cloudera Manager Agent

/opt/cloudera-manager/cm-5.15.1/etc/init.d/cloudera-scm-agent start

四、Cloudera Manager Agent安装

在除了server服务器外的其他的服务器上面执行以下步骤进行对agent的部署：
1、上传安装包

对于agent的安装我们只需要以下的两个安装介质：

Cloudera Manager 安装包：cloudera-manager-centos7-cm5.15.1_x86_64.tar.gz

MySQL驱动包：mysql-connector-java-8.0.12.tar.gz
2、创建相关安装目录并解压安装介质
安装数据库驱动

    mkdir -p /usr/share/java
    cp mysql-connector-java-8.0.12.jar /usr/share/java/mysql-connector-java.jar

创建安装目录并解压安装介质

    mkdir /opt/cloudera-manager
    tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

建系统用户cloudera-scm

useradd --system --home=/opt/cloudera-manager/cm-5.15.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

验证用户是否创建成功：

cat /etc/passwd | grep cloudera-scm

创建hadoop离线安装包存储目录

    mkdir -p /opt/cloudera/parcels
    chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

配置agent的server指向

vim /home/hadoop/cloudera-manager/cm-5.15.1/etc/cloudera-scm-agent/config.ini

将server_host修改为cloudera manager server的主机名,对于本示例而言，也就是server主机ns1。
启动Cloudera Manager Agent

/opt/cloudera-manager/cm-5.15.1/etc/init.d/cloudera-scm-agent start

服务均显示启动成功后，才进行下一步操作。若服务没有启动成功，则需要查看相关日志文件，解决了问题之后方可进行下一步。
五、Cloudera ManagerMent Service集群的安装

我们部署成功CDH的server和agent之后，我们的其他一切操作都在网页上进行操作。在浏览器中输入http://10.66.241.9:7180进入web页面：

用户名、密码均为admin。

 

apriaaaa
关注
使用 Cloudera Manager安装hadoop相关组件
SnowXu01的博客
09-01 359
初始化Cloudera Manager (1) 欢迎页 (2) Accept License (3) Select Edition 选择免费版本先 集群Agent安装 (1) 欢迎页 (2) Cluster Basics 创建一个集群的名称 (3) Specify Hosts 搜索新的节点信息,可以使用模式匹配,扫描一个网段的主机 (4) 选择存储库 # 可以自定义 下载源 # 可以 自定义存储库 # 指定需要的 CDH 版本 (5) JDK 安装选项 跳过了这个jdk,
Cloudera Manager6.3.2详细安装教程，部署使用手册
xinxizjz的博客
10-30 1283
本文详细介绍了Cloudera Manager6.3.2的安装步骤，包括前期准备，安装过程，插件安装，验证安装成功。
cloudera-manager-server-6.0.1-610811.el7.x86_64.rpm
06-04
搭建cloudera-manager集群6.0.1版本所需要的server的安装包，有需要的可以下载。
安装Cloudera manager Server步骤详解
weixin_33845881的博客
10-01 440
　　　　　　　　　　　　　　　　　　　　　　安装Cloudera manager Server步骤详解 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。   　　本篇博客主要是针对：https://www.cnblogs.com/yinzhengjie/p/9734108.html 笔记中关于Cloud...
Cloudera Manager 学习笔记
最新发布
A_Ashely的博客
05-28 1191
① 使用 CM 监控查询性能，如可通过 CM 的监控功能，进入 Impala 服务页面，查看 Impala 的查询性能指标（如 查询的执行时间、资源使用情况等），及时发现性能瓶颈。在 Cloudera Manager 的 Web 界面中，进入 “管理” 菜单，选择 “导出配置” 选项，选择要导出的配置范围（如整个集群、特定服务等），然后保存导出的配置文件。服务协调与管理 ：统一的协调、管理 CDH 中的各个服务，包括服务的启动、停止、重启、故障转移等操作，确保服务的正常运行和高可用性。
cloudera manager server 安装
大数据技术分享
03-21 348
前期准备 禁用IPv6 # echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf # echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf 关闭防火墙 $ sudo service iptables stop $ sudo...
CDH集群安装配置（五）- Cloudera Manager Server
weixin_33754913的博客
02-19 469
在线安装 sudo yum install cloudera-manager-daemons cloudera-manager-server 离线安装 资源下载地址 https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/ 上次下面资源包到cdh1节点 cloudera-manager-server...
CDH安装之篇一：Cloudera Manager安装部署
chundai20040826的博客
03-13 1236
Cloude Manager概述 CDH是Cloudera公司对整体hadoop集群环境进行监控与管理的企业级大数据管理平台。 Cloudera Manager分为： Cloudera Manager Server：对整个集群提供监控与管理操作。Cloudera Manager ...
cdh7.5 cloudera manager 安装全套软件和视频推荐
02-23
2. **软件安装**：首先安装Cloudera Manager Server 和 Agent，然后通过Cloudera Manager界面安装CDH软件包。 3. **网络配置**：合理规划网络架构，确保各节点之间能够顺畅通信。 4. **安全配置**：启用SSL/TLS...
Cloudera Manager详细安装教程
m0_63449353的博客
02-24 3944
1.1内存分配 将3台虚拟机分配好内存 一号机尽量多分配点资源 1.2 JDK安装 在/opt目录下创建文件夹 （1）在/opt目录下创建module、software文件夹 [zz@hadoop102opt]$ sudo mkdir module [zz@hadoop102opt]$ sudo mkdir software （2）修改module、software文件夹的所有者cd [zz@hadoop102opt]$ sudo chown zz:zz module/ ...
Cloudera Manager 6.3.1 (文件1)
06-26
cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm， cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm， enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm， oracle-j2sdk1.8-1.8.0+update181-1...
ClouderaManager
03-17
本书全面地讲解了Raspberry Pi硬件组合和操作系统的使用，从主板的介绍到操作系统语法的讲解，再到如何与Arduino交互应用，图文并茂、由浅入深地引导开发者，逐步深入剖析当下热门应用案例，具有很强的实操性，还有大量珍贵程序代码。本书适合电子专业、互交设计专业、新媒体技术专业学生阅读，也是电子
cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz
09-04
cloudera-CDH5.16.1安装包，cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz。cloudera-CDH5.16.1安装包，cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz。
大数据平台之Cloudera Manager
youziguo的专栏
07-01 1367
Cloudera Manager 是一个企业级平台，用于管理、监控和优化 Apache Hadoop 集群。它提供了一个集中的控制台，使管理员能够有效地管理大规模的 Hadoop 环境，简化了集群部署、配置、监控和维护的工作。
【原创】Cloudera Manager的CDH4主机修改和服务重装
weixin_30877227的博客
12-06 137
Cloudera Manager的CDH4主机修改和服务重装 　　前段时间安装好了CDH4.1后，运行了一段时间，后来，把主机IP地址改掉了，但是发现服务都启动不了，怎么办呢？想到的解决方式如下： 把主机IP地址改回来 CDH4.1上的IP地址改成和主机IP地址一样。 　　如下图，是我安装的CDH4.1的主机情况。 　　第一种方法改回主机IP地址后，重启Cloudera...
集群部署和监控：Cloudera Manager
大连赵哥的博客
08-16 659
集群部署和监控：Cloudera Manager
ClouderaManager 集群搭建
weixin_44449054的博客
12-05 761
CDH大数据平台搭建，各大数据组件的安装
大数据（045）CDH【Cloudera Manager介绍】
张--小涛涛
01-11 1203
一、介绍 • Cloudera Manager是一个管理CDH的端到端的应用。 • 作用： – 管理 – 监控 – 诊断 – 集成 二、Cloudera Manager初看 三、 Cloudera Manager架构 从上图可以看出Cloudera Manager是CS架构的。 • Server ...
CDH及软件安装部署
erainm
12-18 870
1. Linux配置优化 1.1 Swappiness虚拟内存 swappiness是Linux的一个内核参数，控制系统在使用swap虚拟内存时，内存使用的相对权重。 swappiness参数值可设置范围在0到100之间。 此参数值越低，就会让Linux系统尽量少用swap虚拟内存分区，多用内存；参数值越高就是反过来，使内核更多的去使用swap空间。推荐设置为10。根据服务器硬件配置会有变化。 临时生效： sysctl -w vm.swappiness=10 永久生效： echo “vm.swappines
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值