ClouderaManager的介绍与安装

最新推荐文章于 2025-05-28 22:25:06 发布

原创最新推荐文章于 2025-05-28 22:25:06 发布 · 624 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#CDH #大数据

大数据技术相关专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了Cloudera Manager的安装与配置流程，包括系统环境准备、Cloudera Manager Server与Agent的安装、数据库配置、Parcel目录创建、CDH本地源制作以及服务启动等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简介

Cloudera Manager是一个管理CDH的端到端的应用。

作用：管理监控诊断集成

Server ：管理控制台服务器和应用程序逻辑，负责软件安装、配置，启动和停止服务，管理服务运行的群集

Agent：安装在每台主机上，负责启动和停止进程，配置，监控主机

Management Service ：由一组角色组成的服务，执行各种监视、报警和报告功能

Database ：数据库，连接server

Cloudera Repository ：存放本地CDH仓库

Clients ：Admin ，Console API：客户端相关

搭建

一：系统环境准备

1、网络配置 vi /etc/sysconfig/network vi /etc/hosts

2、SSH免密钥登录 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ssh-copy-id

3、防火墙关闭 service iptables stop chkconfig iptables off

4、SELINUX关闭 setenforce 0 vi /etc/selinux/config (SELINUX=disabled)

5、安装JDK配置环境变量 export JAVA_HOME=/usr/java/jdk1.7.0_67 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

6、安装NTP 设置开机启动 chkconfig ntpd on 设置时间同步 ntpdate 202.120.2.101

7、安装配置mysql yum install mysql-server GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION; flush privileges；

8、下载第三方依赖包 chkconfig、python、bind-utils、psmisc、libxslt、zlib、sqlite、cyrus-sasl-plain、 cyrus-sasl-gssapi、fuse、fuse-libs、redhat-lsb

二：ClouderaManager安装

1、安装Cloudera Manager Server、Agent mkdir /opt/cloudera-manager tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

2、创建用户cloudera-scm useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3、配置CM Agent 修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中server_host

4、配置CM Server数据库拷贝mysql jar文件到目录 /usr/share/java/ 注意jar包名称要修改为mysql-connector-java.jar

grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;

cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/

./scm_prepare_database.sh mysql temp -h node01 -utemp -ptemp --scm-host node01 scm scm scm 格式：数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器

5、创建Parcel目录

Server节点 mkdir -p /opt/cloudera/parcel-repo chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

Agent节点 mkdir -p /opt/cloudera/parcels chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

6、制作CDH本地源

下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json，将这两个文件放到server节点的/opt/cloudera/parcel-repo下。打开manifest.json文件，里面是json格式的配置，找到与下载版本相对应的hash码，新建文件，文件名与你的parel包名一致，并加上.sha后缀，将hash码复制到文件中保存。

7、启动CM Server、Agent

cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/

./cloudera-scm-server start Sever首次启动会自动创建表以及数据，不要立即关闭或重启，否则需要删除所有表及数据重新安装 ./cloudera-scm-agent start

访问：http://ManagerHost:7180，用户名、密码：admin 若可以访问，则CM安装成功。