CDH操作(01)--Cloudera Manager6.0安装(只需要在NODE1做)

单节点 cloudera manager部署 d 阅读详情

前提:

以下操作都是在root用户下操作完成的

----------------------------------------------------------------------------------------

Cloudera Manager安装(只需要在NODE1做)
    1.配置本地repo源
        1.下载CM6.0的安装包,地址为:
            https://archive.cloudera.com/cm6/6.0.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.0.0-530873.el7.x86_64.rpm
            https://archive.cloudera.com/cm6/6.0.0/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.0.0-530873.el7.x86_64.rpm
            https://archive.cloudera.com/cm6/6.0.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.0.0-530873.el7.x86_64.rpm
            https://archive.cloudera.com/cm6/6.0.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-db-2-6.0.0-530873.el7.x86_64.rpm
            https://archive.cloudera.com/cm6/6.0.0/redhat7/yum/RPMS/x86_64/oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm
            https://archive.cloudera.com/cm6/6.0.0/allkeys.asc
                 
        2.下载CDH6.0的安装包,地址为:
            https://archive.cloudera.com/cdh6/6.0.0/parcels/
            https://archive.cloudera.com/cdh6/6.0.0/parcels/CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel
            https://archive.cloudera.com/cdh6/6.0.0/parcels/CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel.sha256
            https://archive.cloudera.com/cdh6/6.0.0/parcels/manifest.json

----------------------------------------------------------------------------------------

        3.cdh6.0.0 和 cm6.0.0
            mkdir /root/cdh6.0.0   把 CDH 6.0.0 的三个文件放到/root/cdh 6.0.0 中,并且注意把sha256后缀的文件名修改为sha
             mkdir /root/cm6.0.0     把 Cloudera Manager 6.0.0  的5个文件放到/root/cm6.0.0 中

----------------------------------------------------------------------------------------

        4.执行createrepo命令生成rpm元数据。
           cd /root/cm6.0.0 
            yum install createrepo
            createrepo . (注意此命令的最后带一个点) 最终 cm6.0目录下多了一个repodata目录
            

        5.配置Web服务器
            将 cdh6.0目录 和 cm6.0目录 移动到/var/www/html目录下, 使得用户可以通过HTTP访问这些rpm包。
            cd /root
            mkdir -p /var/www/html
            mv ./cdh6.0.0/ ./cm6.0.0/ /var/www/html
 
        6.使得用户可以通过HTTP访问这些/var/www/html目录下的文件
            1.yum install httpd  安装httpd服务
            2.systemctl start httpd 启动httpd服务
            3.ps -ef | grep httpd 查看httpd服务是否启动
            4.cd /etc/yum.repos.d/
             mkdir os.repo
             vim os.repo 
             以下为文件内容:    
             [osrepo]
             name=os_repo
             baseurl=http://192.168.242.132/cm6.0.0
             enabled=true
             gpgcheck=false
            5.sudo yum repolist #查看repolist
            6.vim /etc/httpd/conf/httpd.conf 
                修改 /etc/httpd/conf/httpd.conf 配置文件,在<IfModule mime_module>中修改以下内容
                把 AddType application/x-gzip .gz .tgz 第 284 行 修改为 AddType application/x-gzip .gz .tgz .parcel
            7.重启httpd服务 systemctl restart httpd
            8.浏览器即可打开以下链接:
                http://192.168.242.132/cdh6.0.0/
                http://192.168.242.132/cm6.0.0/

备注:可能会出现以下错误提示:
You don’t have permission to access

在centos7下的处理方式;
1.关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service

2.关闭selinux
vim /etc/selinux/config
修改内容:
SELINUX=disabled

 

        7.制作Cloudera Manager的repo源
            1.vim /etc/yum.repos.d/cm.repo 以下为文件内容
                [cmrepo]
                name=cm_repo
                baseurl=http://192.168.242.132/cm6.0.0 
                enable=true
                gpgcheck=false
            2.sudo yum repolist
            3.重启httpd服务 systemctl restart httpd

    2.安装Cloudera Manager Server
        1.安装CM6.0时,请装官方提供的JDK:oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm
            1.第一种方式:(目前使用这种方式即可)
                因为已经配置好repo仓库所以yum时会到192.168.242.132/cm6.0.0目录下找到oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm进行安装
                yum -y install oracle-j2sdk1.8-1.8.0+update141-1.x86_64
                  默认安装在 /usr/java/jdk1.8.0_141-cloudera 
                  vim /etc/profile 文件中内容如下
                    JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera
                        CLASSPATH=.:$JAVA_HOME/lib/tools.jar
                        PATH=$JAVA_HOME/bin:$PATH
                       export JAVA_HOME CLASSPATH PATH
                  重新加载profile配置文件,让配置文件生效:source /etc/profile     
                    检查是否已配置好新的JDK:java -version
                  scp -r /etc/profile root@NODE2:/etc/
                  scp -r /etc/profile root@NODE3:/etc/
            2.第二种方式 
                直接使用 rpm -ivh 命令安装 rpm 文件的方式
                rpm -ivh oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm
                  默认安装在 /usr/java/jdk1.8.0_141-cloudera
        2.通过yum安装Cloudera Manager Server:(Cloudera Manager Server的源 已经配置到了repo库中)
            yum -y install cloudera-manager-server 
            最后一行显示 Complete!
        3.初始化数据库
            /opt/cloudera/cm/schema/scm_prepare_database.sh mysql cm cm password 
            最后一行显示 All done, your SCM database is configured correctly!
        4.启动Cloudera Manager Server
            必须保证MySQL启动了,才能正常启动Cloudera Manager Server:service mysql start
            ps -ef | grep mysql
            systemctl start cloudera-scm-server 启动Cloudera Manager Server
            ps -ef | grep cloudera-scm-server 查看是否启动
            systemctl status cloudera-scm-server 显示 Active: active (running) 
        5.检查端口是否监听
            yum install net-tools 安装 netstat
            netstat -lnpt | grep 7180 要等一段时间启动完全启动成功后,才能看到端口被使用,然后才能真正访问到CM的登录网页
                显示 tcp 0  0 0.0.0.0:7180  0.0.0.0:*  LISTEN  68289/java
        5.通过 192.168.242.132:7180/cmf/login 访问 CM

--------------------- 
参考:https://blog.youkuaiyun.com/zimiao552147572/article/details/87193919 

Cloudera CDP实战指南:从CDP安装、CM配置到HDFS/YARN/Hive调优 Cloudera Data Platform(CDP)是现代企业级云原生数据平台的核心代表,它已取代传统CDH,基于Kubernetes构建,融合HDFS分布式存储、YARN资源调度与Hive/Tez计算引擎。理解其架构演进(CDH→CDP)、掌握Cloudera Manager三级配置体系、规避Kubernetes环境部署陷阱(如CNI选型、etcd存储、Operator配置),是保障集群稳定与性能的关键。在真实生产中,HDFS小文件治理、YARN容量队列精细化配额、Hive on Tez会话复用与Shu 阅读详情

相关推荐

YARN不是调度器,而是分布式操作系统内核

YARN是Hadoop生态中首个将计算资源抽象为可编程内核的分布式系统,其本质超越传统资源调度器,提供进程隔离、内存管控、故障自愈等操作系统级能力。它基于双层调度模型解耦全局资源仲裁(ResourceManager)与应用自治逻辑(ApplicationMaster),通过CGroups、Timeline Server、ZKRMStateStore等机制实现多租户安全与可观测性。在PB级数据平台实践中,YARN的配置偏差、内核参数冲突、版本契约断裂常导致Container OOM、AM注册失败、Timeli

weixin_30861797的博客 433

GDH6.0安装步骤

GDH6.0.0安装步骤 一、概述 CDH,全称Cloudera’s Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,提供了Hadoop的核心(可扩展存储、分布式计算),最为重要的是提供基于web的用户界面。 CDH的优点:版本划分清晰,更新速度快,支持Kerberos安全认证,支持多种安装方式(如Yum、rpm等)。 CDH分为Cloudera Manager管理平台和C

weixin_41792726的博客 948

CDH大数据平台 08Cloudera Manager freeIPA&&Kerberos安装配置(markdown新版)

freeIPA和Kerberos安装配置,负责票据搭配

80后大叔爱学习 938

大数据基础学习笔记(安装CDH的环境配置)-CDH-5.15

1.下载软件地址((以centos7.4)) CDH安装包地址: http://archive.cloudera.com/cdh5/parcels/5.14.0/ CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1 manifest.json Cloudera Manager下载...

小马哥的博客 798

cloudera-manager-agent-6.0.1-610811.el6.x86_64.rpm

clouderamanger.agent,用于表示每个客户端,用于进行传递

CDH6.2.0最全安装包

CDH6.2.0最全安装包,包括管理服务以及客户端软件,还包括mysql5.7的安装包。

Cloudera Manager 6.0.1 安装注意事项及细节

此篇基本与官方文档一致,细节不一样的地方会标注我的环境:server1 192.168.1.201 4核 8G 120G(固态)server2 192.168.1.202 4核 8G 120G+500G(固态)server3 192.168.1.203 4核 8G 120G+500G(固态)server4 192.168.1.204 4核 8G 120G+500G(固态)以上...

weixin_34162629的博客 199

CANoe从入门到精通“保姆级”教程(二)- 堪称全网“最全”系列

CANoe各功能区介绍;

车载控制器AutoSAR软件开发工程师 2万+

网页报错:You don't have permission to access

当访问网站出现“You don't have permission to access / on this server.”时,造成此现象的原因大概有以下两点: 一:用户程序不完整,或者未在空间上设置首页,导致网站无法访问; 二:伪静态未开启,或用户的伪静态文件、伪静态规则不正确; 可根据以上提示查看代码或管理后台修改。 转载于:https://www.cnblogs.com/z...

dianling3902的博客 2万+

开源人形机器人硬件生态:关键技术、产业链与低成本突破 | OpenLoong 社区线下分享会

本文将深入探讨人形机器人硬件平台的关键技术、产业链与核心部件以及降低成本的策略。从硬件平台的核心技术,到机器人核心零部件的详细介绍,再到产业链各环节的协同发展以及实现低成本化的创新思路,将一同剖析人形机器人迈向广泛应用所面临的挑战与机遇,展望其未来的发展趋势,为开发者和相关从业者提供一些参考与启示。

OpenLoong_的博客 2420

Frida实战:高效dump Android内存中的so文件与修复技巧

本文详细介绍了使用Frida工具dump Android内存中已解密so文件的实战技巧。针对加固应用静态分析失效的痛点,文章提供了从环境搭建、使用frida_dump脚本自动化抓取内存数据,到利用SoFixer工具修复ELF文件结构的完整流程,帮助逆向分析人员高效获取可分析的so文件。

tt34567的博客 528

网站出现“You don‘t have permission to access / on this server.”错误原因和解决方案

当访问网站出现“You don't have permission to access / on this server.”时,造成此现象的原因大概有以下两点: 一:用户程序不完整,或者未在空间上设置首页,导致网站无法访问; 二:伪静态未开启,或用户的伪静态文件、伪静态规则不正确; 可根据以上提示查看代码或管理后台修改。 ...

PHP错误汇总 6万+

Drools vs URule:5个真实项目场景告诉你如何选择开源规则引擎

本文通过电商风控、物流计费、会员体系、保险定价和物联网告警五个真实项目场景,深度对比了Drools与URule两款开源规则引擎。分析了两者在规则复杂度、性能表现、开发运维及适用场景上的核心差异,为技术选型提供基于实战的决策指南。

k6l7m8n9的博客 944

CDH集群6.3.2 + CM6.3.1离线安装部署实操保姆级详细教程

CDH是一个基于Apache Hadoop的开源软件分发版本,由Cloudera公司开发和维护。CDH提供了统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案,组件包括Hadoop分布式文件系统(HDFS)、分布式计算框架(MapReduce)及其他相关开源组件,如Hive、HBase、Impala等。CDH的目标是简化大数据处理和分析的过程,使企业能够更好地利用大数据来获取洞察力和价值。CM是Cloudera提供的一个集中式管理工具,用于管理和监控CDH集群。

BlogPan的专栏 1万+

PCIe-Orders set Blocks之symbol对齐

有序集的使用场合很多,如在链路link阶段,进入polling后,便开始有序集的发送。一个 Ordered Set Block 包含一个同步头,后跟一个有序集。多通道链路的所有 Lane 必须同时传输相同的有序集,而且有序集的第一个符号定义了有序集的类型。但在PCIE中,8GT/s及以上的速率,采用的是128b/130b编码。128-bit是想要传输的payload,实际会传输130-bit,多出来的2-bit就是sync header。Block有两种,通过Sync header区分:10b:表示data

weixin_44700185的博客 813

【第24例】华为 IPD 体系 | RMT 需求管理团队

RMT需求管理团队

产品线负责人 1764

cdh 的安装

一、准备: 1、修改主机名,设置集群host 修改主机名,并使之生效; 修改:vim etc/sysconfig/network 统一设置集群host(修改集群中每个节点的hosts文件):vim /etc/hosts 2、利用ntp设置时间同步 less /etc/localtime检查时区看最后一行是否是CST-8,如果不是,执行以下命令修改。 cp -f...

54MD的博客 897

华为OD机试真题 新系统 2026-06-10 C++ 实现【设备重排SN】

通信设备SN一般是包含:字母、数字,用'-'(破折号)进行分组分割,例如:8F-3T-1G-2n是一个有效的SN地址。 现在要对已经存在的SN 按照新的规则进行重排:

MISAYAONE的博客 129

Cloudera CDP实战指南:HDFS可靠性、YARN调优与混合治理

Cloudera Data Platform(CDP)已超越传统Hadoop发行版,演进为面向企业数据治理的操作系统。其核心在于统一元数据管理、动态安全策略与存储计算解耦架构,支撑金融、制造等关键行业对高可用、强合规与弹性扩展的刚性需求。HDFS底层可靠性设计决定集群容灾能力,YARN资源调度真实瓶颈直接影响Spark作业稳定性;而CDP Public Cloud与Private Cloud的混合治理逻辑,则解决了多云/本地数据协同、租户隔离与联邦查询等现实挑战。本文聚焦生产级CDP部署、HDFS脑裂防控、

weixin_34294649的博客 321

免费教你快速学会分析运算放大器电路(保证学会)

本文旨在学习如何快速简单地对运算放大器进行分析

一名热爱技术的工程师的博客。分享技术干货,记录美好生活。永远相信美好的事情即将发生。 1万+

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

CDH在线扩容问题记录

请运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”和“echo never > /sys/kernel/mm/transparent_hugepage/enabled”以禁用此设置,然后将同一命令添加到 /etc/rc.local 等初始化脚本中,以便在系统重启时予以设置。2-问题,群集进程了多个时区。需要修改自定库:http://IT-CDH-Node01:80/cloudera-repos/cm6.3.1/

sunxunyong的博客 355

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

CDH6集群部署

大数据集群管理方式分为手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)主机:192.168.0.32:Server+agent192.168.0.33:agent192.168.0.34:agent安装之前准备环境:网络名称CDH需要IPv4。不支持IPv6。按如下方式配置群集中的每个主机,以确保所有成...

weixin_34245749的博客 859

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Centos7+CDH5.7.2集群搭建

Centos7+CDH5.7.2集群搭建欢迎使用Markdown编辑器一、前期准备1、虚拟机配置(本例为3节点)2、软件资源3、集群的规划二、开始安装前配置和预装软件1、服务器配置1.1 设置本地虚拟机网络的连接模式及网关1.2 节点的IP配置1.3 hostname修改1.4.关闭防火墙1.5 selinux关闭1.6 免密登录配置1.7 ip和主机名映射关系1.8 NTP服务器设置(可选,节点较少,节点时间偏差不大(5分钟内)可不配置)2、第三方依赖包3 创建数据库(CDH用)4.前置预置环境检查三 安

小伟的博客 427

centos7离线安装CDH 5.13.1过程记录及安装所遇到问题的解决方案(2019-05-04)

我有三台虚拟机,都是最新安装的centos7,下面是资源分配 主机名 ip 内存 磁盘大小 主从 s201 192.168.0.201 10g 40g 主 s202 192.168.0.202 4g 20g 从 s203 192.168.0.203 4g 20g ...

hlp4207的博客 2187

搭建cdh集群及问题处理

分发: ./dep.sh /etc/cloudera-scm-agent/config.ini /etc/cloudera-scm-agent/ all。查看server日志# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log。查看agent日志# tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log。安装cloudera-manager-server。

sunxunyong的博客 844

hadoop 找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster

这个是 因为 在 yarn 执行MapReduce的使用 找不到 hadoop 的classpath 一般在 shell中输入 hadoop classpath 输出为 /etc/hadoop/conf:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop/lib/*:/o...

老猿说说专栏 2495
上一篇: 深入理解Java虚拟机
下一篇: MAC使用VMware Fusion为centos设置静态IP
With__Sunshine
博客等级 码龄9年 128粉丝 42原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值