【KeyarchOS】安装部署CM5.13.0和CDH5.13.0实践

CDH大数据平台入门篇之搭建与部署 CDH:存储各种类型的数据、使用各种不同的计算框架进行操作、能够快速集成和运行一个完整的Hadoop平台,适用于各种不同的硬件和软件、高安全性且能够部署多种应用,并扩展和扩充它们以满足你的需求、还可以放心地用于关键的商业任务。 阅读详情

目录

1 概述

2 安装准备

2.1 操作系统环境

2.2 CM版本

3 安装

3.1 安装CM5.13.0

4 运行CM安装CDH

4.1 启动CM服务

4.2 初始化CM并安装CDH5.13.0


1 概述

浪潮信息KOS是浪潮信息基于Linux Kernel、OpenAnolis等开源技术自主研发的一款服务器操作系统,支持x86、ARM等主流架构处理器,性能和稳定性居于行业领先地位,具备成熟的 CentOS 迁移和替换能力,可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。详细介绍见官网链接浪潮信息云峦服务器操作系统KeyarchOS_KOS服务器操作系统-浪潮信息

CM(cloudera Manager)是一种管理CDH集群的端到端的应用。CM通过对CDH集群的各部分提供精细的可视化和控制,建立了企业级部署的标准,增强了操作人员的能力以提升性能、提升服务质量、提高合规性、降低管理成本。通过CM,技术人员可以很容易地部署和集中化操作CDH技术栈和其他可托管的服务。它使安装过程自动化,使部署时间从几个星期减少到几分钟;提供了一个集群范围、实时的主机和服务运行情况的视图;提供了一个单一的中央控制台,以对集群配置进行变更;并采用全方位的报告和诊断工具来帮助你优化性能和利用率。官网:https://www.cloudera.com/products/product-components/cloudera-manager.html。

CDH(Cloudera’s Distribution Including Apache Hadoop)是Hadoop发行版的一种,是一套目前比较完整的、充分测试的Hadoop及其相关项目的发行版。CDH的基础组件均基于apache license开源,无论是个人学习还是企业使用都比较有保障。CDH提供以下特性:灵活性:能够存储各种类型的数据,并使用各种不同的计算框架进行操作,包括批处理、交互式sql、文本搜索、机器学习和统计计算。集成性:能够快速集成和运行一个完整的Hadoop平台,适用于各种不同的硬件和软件。安全性:处理和控制敏感数据。扩展性:能够部署多种应用,并扩展和扩充它们以满足你的需求。高可用性:可以放心地用于关键的商业任务。兼容性:可以利用你现有的IT基础设施和资源,官网:https://www.cloudera.com/。

2 安装准备

2.1 操作系统环境

版本信息:KeyarchOS 5.8

硬件平台:X86_64

2.2 CM版本

CM5.13.0

下载地址:https://pan.baidu.com/s/1Q8-eAL7kx-Gljck_Bw3cbA?pwd=kss3

提取码:kss3

3 安装

3.1 安装CM5.13.0

配置主机名

使用命令使其立刻生效

hostname $(cat /etc/hostname)

修改文件/etc/hosts

关闭防火墙、关闭SELinux

 配置免密登录

 

卸载自带的jdk,安装jdk1.8.0_131并配置环境变量 

 

安装MySQL8.0.26(已经在KOS AppSteam仓库发布) 

 启动MySQL服务

 创建目录、创建cloudera-scm用户

解压并安装CM

 yum install cloudera-manager-daemons-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm

 yum install cloudera-manager-server-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm 

[root@node132 ~]#yum install cloudera-manager-agent-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm 

修改cloudera-manger和cloudera-agent配置文件

指定数据库和主节点(主节点)

 

 

 创建parcels目录、创建/usr/share/java/ 

用于后期cdh启动部署

安装mysql-connector-java-5.1.46

复制到系统文件夹下

登录Mysql创建数据库,创建用户并授权 

 

 准备parcels

(将下面的三个文件按照安装前下载到这个目录下/opt/cloudera/parcel-repo),用以安装CDH5,创建parcel-repo仓库目录

4 运行CM安装CDH

4.1 启动CM服务

 /etc/init.d/cloudera-scm-server restart

/etc/init.d/cloudera-scm-agent restart 

4.2 初始化CM并安装CDH5.13.0

浏览器打开CM

浏览器打开http://node132:7180,用户名密码都是admin

 

 群集安装选择安装CDH5.13.0

 

 选择集群设置

 

 

基于ARM64银河麒麟V10系统(PK体系)适配安装Ambari2.7.3+HDP3.1 引言 目前市场上主流的大数据平台以CDH和HDP两种为主,而两种大数据平台都是基于Apache原生态版本改进的,HDP版本的更贴近于原生态版本,开源率100%,基本上支持所有的开源大数据组件。CDH版本大数据平台经过二次开发与原生态版本有较大差异,且在2018年已经闭源,但市场占有率较大。以上两种大数据平台都仅支持x86架构,早在几年期RedHat联手cloudera公司发表声明将推出64位ARM版,据悉目前Centos7.5以上版本系统已经支持arm架构,cloudera公司产品未见推出arm机构大数据平 阅读详情

相关推荐

数智化转型升级之道--手把手教你搭建企业级大数据平台

CDH是Cloudera的开源平台发行版,包括Apache Hadoop,专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成,Cloudera创建了一个功能先进的系统,可帮助您执行端到端的大数据工作流程。简单来说:CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得集群的安装可以从几天的时间缩短为几个小时,运维人数也会从数十人降低到几个人,极大的提高了集群管理的效率。

一个天秤座的架构师 3万+

CDH6.3.2环境搭建

目录参考文章配置hostname,映射文件hosts关闭防火墙,并禁止开机自启设置无密钥登陆时间同步安装JDK 1.8安装mysql5.7 linux的通用版本 generic配置CM 参考文章 cm和cdh的关系 http://www.fblinux.com/?p=1492 hadoop发行版本介绍 https://www.jianshu.com/p/fc3010c02391 配置hostname,映射文件hosts 为每台服务器配置名称 vim /etc/hostname 添加名称 将所有服务器的名称

weixin_44142032的博客 5505

从零构建:毫米波雷达生命信号检测系统的Matlab仿真全流程解析

本文详细解析了毫米波雷达生命信号检测系统的Matlab仿真全流程,涵盖原理、信号处理链路设计及算法优化策略。通过FMCW雷达技术,实现非接触式呼吸心跳信号检测,结合Matlab代码示例展示距离FFT、相位提取与信号分离等关键步骤,为医疗监护和智能家居应用提供实用指南。

weixin_29303701的博客 357

CDH大数据平台部署安装(详细)

在主节点上安装MySQL数据库,CDH的某些组件(如Cloudera Manager和Hive Metastore)需要数据库支持。在主节点上设置本地YUM源,包含CDH和Cloudera Manager的安装包,便于节点安装和管理软件包。baseurl=http://[IP地址或master节点名称]/cloudera-repos/cm6。#将下载好的rpm安装包上传到/var/www/html/cloudera-repos/cm6。#打开10.8.42.54/cloudera-repos/cm6/

m0_73800495的博客 3229

STM32硬件SPI驱动ADS1255/1256避坑指南:从Cube MX配置到稳定采样实战

本文详细解析了使用STM32硬件SPI驱动高精度ADC芯片ADS1255/1256的完整流程与关键陷阱。重点阐述了Cube MX中SPI模式(必须为CPOL=1, CPHA=1)、数据帧格式(MSB First)及波特率(建议从256kHz起)的正确配置,并提供了分步读写时序的代码实现与逻辑分析仪调试方法,帮助开发者避开常见坑点,实现稳定可靠的高精度数据采样。

weixin_29193259的博客 362

2025.06.24【R语言】|clusterProfiler安装与常见报错FAQ全解

本文介绍了clusterProfiler工具的安装方法及常见报错解决方案。安装可通过Bioconductor或Conda完成,需注意安装配套注释包。文中列举了10种常见报错,包括依赖包缺失、ID类型不匹配、物种不支持等问题,并给出具体解决方法。最后总结了GO/KEGG富集分析的标准流程,包括ID转换、富集分析和可视化步骤,为生物信息学分析提供实用参考。建议使用R≥4.2版本,并确保正确调用BiocManager进行安装。

5997

KeyarchOS安装CM5.13.0和CDH5.13.0

浪潮信息KOS是浪潮信息基于Linux Kernel、OpenAnolis等开源技术自主研发的一款服务器操作系统,支持x86、ARM等主流架构处理器,性能和稳定性居于行业领先地位,具备成熟的 CentOS 迁移和替换能力,可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。详细介绍见官网链接id=12126。CM(cloudera Manager)是一种管理CDH集群的端到端的应用。

SGY_GF的博客 1000

定制PYNQ的overlay

一、用HLS生成一个定制IP(加速器)(1)首先打开vivado hls,本人的版本是2017.2,点击创建一个新工程。(2)设置工程名和路径,顶层函数设置为add,创建一个新的C++程序,名字叫做adder.cpp,不用在testbench中添加文件。选择板子的时候搜索xc7z020clg400-1,这是PYNQ的板子号,选择完成。             (3)在左侧的菜单栏里选择Sourc...

bramblewalls的博客 1万+

KeyarchOS安装 CM5.13.0和CDH5.13.0

浪潮信息KOS是浪潮信息基于Linux Kernel、OpenAnolis等开源技术自主研发的一款服务器操作系统,支持x86、ARM等主流架构处理器,性能和稳定性居于行业领先地位,具备成熟的 CentOS 迁移和替换能力,可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。详细介绍见官网链接id=12126。CM(cloudera Manager)是一种管理CDH集群的端到端的应用。

m0_63147799的博客 188

用野火FPGA开发板(EP4CE10)手把手教你实现一个高精度频率计(附完整Verilog代码)

本文详细介绍了基于野火FPGA开发板(EP4CE10)实现高精度频率计的全过程,涵盖等精度测量法的核心原理、Verilog代码实现及优化技巧。通过实际案例演示,帮助开发者掌握1Hz-50MHz范围、精度达0.1%的频率计设计方法,并提供完整的工程代码和实测数据。

weixin_29261711的博客 441

G.6 PaddleHub实战篇{ERNIE实现文新闻本分类、ERNIE3.0 实现序列标注}【四】

百度飞桨:ERNIE 3.0 、通用信息抽取 UIE、paddleNLP的安装使用[一]_汀、的博客-优快云博客PaddleHub--飞桨预训练模型应用工具{风格迁移模型、词法分析情感分析、Fine-tune API微调}【一】_汀、的博客-优快云博客 PaddleHub--{超参优化AutoDL Finetuner}【二】_汀、的博客-优快云博客PaddleHub实战篇{词法分析模型LAC、情感分类ERNIE Tiny}训练、部署【三】_汀、的博客-优快云博客通过前面几篇文章大家都有一定了解,下面

丨汀、的博客 6186

CDH集群6.3.2 + CM6.3.1离线安装部署实操保姆级详细教程

CDH是一个基于Apache Hadoop的开源软件分发版本,由Cloudera公司开发和维护。CDH提供了统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案,组件包括Hadoop分布式文件系统(HDFS)、分布式计算框架(MapReduce)及其他相关开源组件,如Hive、HBase、Impala等。CDH的目标是简化大数据处理和分析的过程,使企业能够更好地利用大数据来获取洞察力和价值。CM是Cloudera提供的一个集中式管理工具,用于管理和监控CDH集群。

BlogPan的专栏 1万+

TextView部分文字可以被点击的效果。TextView拼接图片,图片可以被点击

今有一需求,就是列表标题后拼接图标,点击图标跳转一个web页; 这里简单做下笔记,以供需要的人参考: //设置部分文字点击事件 ClickableSpan clickableSpan = new ClickableSpan() { @Override public void onClick(View widget) { Toast.makeText(conte...

LXFX1108的专栏 695

CDH6.x安装教程(附带整合kerberos)

一、安装前准备 设置HOST vi /etc/hosts 关闭防火墙 sudo systemctl disable firewalld sudo systemctl stop firewalld 设置SELinux vi /etc/selinux/config 将SELINUX=enforcing 改为SELINUX=permissive,然后重启服务器,或者执行下面命令: setenforce 0 开启NTP服务 # 安装NTP服务.....

qq_32068809的博客 5390

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

CDH数仓项目(一) —— CDH安装部署搭建详细流程

CDH数仓项目——基于CDH搭建数据仓库

不以物喜的博客 3739

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

记录一次华为云主机安装CDH6的坑

1.使用华为云的鲲鹏服务器,因为是ARM架构,导致安装不上CDH,源码编译HDP也老是报错,可能原因是:底层系统架构的改变,以及鲲鹏服务器现阶段还不够成熟,搞了博主三天,没有解决问题,只好换个服务器 2.华为云的服务器,其hosts文件如下: ::1 localhost localhost.localdomain localhost6 localhost6.loca...

没有合适的昵称 2542

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

CDH-集群部署

这里写目录标题一、前期准备1、集群准备1.1 准备三台设备1.2 修改三台设备的主机名1.3 修改IP地址(其他两台设备同时设置)2、系统环境搭建2.1 修改hosts域名映射2.1 免密登录2.3 防火墙、selinux关闭2.4 安装JDK2.5 安装NTP(只需要在cdh1)2.6 修改系统参数(cdh1)2.7 安装httpd3、下载第三方依赖包(每台都装)4、安装MySQL(cdh3)4.1首先查看自己的集群中是否安装mysql数据库4.2 依次安装4.3 进入mysql数据库![在这里插入图片描

L先生 2645

全网史上最详细全面的CDH安装流程和环境配置(建议收藏+关注)

详细全面的CDH安装流程和环境配置

是故事啊~关注我~ 3030

CDH 6.3.2安装部署(超详细)

超级详细的cdh6.3.2安装部署教程

2201_75470972的博客 6450
上一篇: 在KeyarchOS操作系统上安装运行Bowtie2(测序序列与参考序列比对)
下一篇: 在KeyarchOS上安装Docker18.09
KeyarchOS
博客等级 码龄3年 1312粉丝 339原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值