【KeyarchOS】安装部署CM5.13.0和CDH5.13.0实践

本文详细介绍了浪潮信息KOS服务器操作系统与ClouderaManager(CM)的安装步骤,包括操作系统环境要求、CM5.13.0的安装、配置及运行,以及如何通过CM安装和初始化CDH5.13.0,以实现企业级Hadoop集群管理和自动化部署。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

目录

1 概述

2 安装准备

2.1 操作系统环境

2.2 CM版本

3 安装

3.1 安装CM5.13.0

4 运行CM安装CDH

4.1 启动CM服务

4.2 初始化CM并安装CDH5.13.0


1 概述

浪潮信息KOS是浪潮信息基于Linux Kernel、OpenAnolis等开源技术自主研发的一款服务器操作系统,支持x86、ARM等主流架构处理器,性能和稳定性居于行业领先地位,具备成熟的 CentOS 迁移和替换能力,可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。详细介绍见官网链接浪潮信息云峦服务器操作系统KeyarchOS_KOS服务器操作系统-浪潮信息

CM(cloudera Manager)是一种管理CDH集群的端到端的应用。CM通过对CDH集群的各部分提供精细的可视化和控制,建立了企业级部署的标准,增强了操作人员的能力以提升性能、提升服务质量、提高合规性、降低管理成本。通过CM,技术人员可以很容易地部署和集中化操作CDH技术栈和其他可托管的服务。它使安装过程自动化,使部署时间从几个星期减少到几分钟;提供了一个集群范围、实时的主机和服务运行情况的视图;提供了一个单一的中央控制台,以对集群配置进行变更;并采用全方位的报告和诊断工具来帮助你优化性能和利用率。官网:https://www.cloudera.com/products/product-components/cloudera-manager.html。

CDH(Cloudera’s Distribution Including Apache Hadoop)是Hadoop发行版的一种,是一套目前比较完整的、充分测试的Hadoop及其相关项目的发行版。CDH的基础组件均基于apache license开源,无论是个人学习还是企业使用都比较有保障。CDH提供以下特性:灵活性:能够存储各种类型的数据,并使用各种不同的计算框架进行操作,包括批处理、交互式sql、文本搜索、机器学习和统计计算。集成性:能够快速集成和运行一个完整的Hadoop平台,适用于各种不同的硬件和软件。安全性:处理和控制敏感数据。扩展性:能够部署多种应用,并扩展和扩充它们以满足你的需求。高可用性:可以放心地用于关键的商业任务。兼容性:可以利用你现有的IT基础设施和资源,官网:https://www.cloudera.com/。

2 安装准备

2.1 操作系统环境

版本信息:KeyarchOS 5.8

硬件平台:X86_64

2.2 CM版本

CM5.13.0

下载地址:https://pan.baidu.com/s/1Q8-eAL7kx-Gljck_Bw3cbA?pwd=kss3

提取码:kss3

3 安装

3.1 安装CM5.13.0

配置主机名

使用命令使其立刻生效

hostname $(cat /etc/hostname)

修改文件/etc/hosts

关闭防火墙、关闭SELinux

 配置免密登录

 

卸载自带的jdk,安装jdk1.8.0_131并配置环境变量 

 

安装MySQL8.0.26(已经在KOS AppSteam仓库发布) 

 启动MySQL服务

 创建目录、创建cloudera-scm用户

解压并安装CM

 yum install cloudera-manager-daemons-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm

 yum install cloudera-manager-server-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm 

[root@node132 ~]#yum install cloudera-manager-agent-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm 

修改cloudera-manger和cloudera-agent配置文件

指定数据库和主节点(主节点)

 

 

 创建parcels目录、创建/usr/share/java/ 

用于后期cdh启动部署

安装mysql-connector-java-5.1.46

复制到系统文件夹下

登录Mysql创建数据库,创建用户并授权 

 

 准备parcels

(将下面的三个文件按照安装前下载到这个目录下/opt/cloudera/parcel-repo),用以安装CDH5,创建parcel-repo仓库目录

4 运行CM安装CDH

4.1 启动CM服务

 /etc/init.d/cloudera-scm-server restart

/etc/init.d/cloudera-scm-agent restart 

4.2 初始化CM并安装CDH5.13.0

浏览器打开CM

浏览器打开http://node132:7180,用户名密码都是admin

 

 群集安装选择安装CDH5.13.0

 

 选择集群设置

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值