离线CDH5搭建

最新推荐文章于 2025-07-09 13:44:42 发布
原创 最新推荐文章于 2025-07-09 13:44:42 发布 · 376 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了CDH的背景与优势，以及如何使用ClouderaManager进行高效的大数据集群管理。包括CDH的版本优势、ClouderaManager的功能特性、详细的安装步骤与配置流程。

为什么会出现CDH?

1:Apache Hadoop 版本管理换乱
2:部署过程繁琐,升级过程复杂
3:兼容性查 安全性低

Hadoop发行版:

Apache Hadoop
Cloudera’s Distribution Including Apache Hadoop（CDH）
Hortonworks Data Platform (HDP)
MapR
EMR

什么是CDH?

Cloudera’s Distribution Including Apache Hadoop（CDH）
是Hadoop众多分支的一种,由Cloudera维护,是基于稳定的Apache Hadoop去构建的
CDH提供了Hadoop的核心能力 分布式计算与可扩展存储以及基于Web的用户界面
在这里插入图片描述

CDH的优点:

1: 版本划分清晰
2:版本更新速度快
3:支持Kerberos安全认证
4:文档清晰
5;支持多种安装方式(Clouder Manager , Yum , Rmp ,Tarball)
本次介绍安装CDH的方式为Clouder Manager方式

ClouderaManager

Clouder Manager 是一个管理CDH端到端的应用:
简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。

主要功能 管理 监控 诊断 集成 :

• 管理：对集群进行管理，如添加、删除节点等操作。
• 监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。
• 诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。
• 集成：多组件进行整合。

1: 集群管理

  • 添加 删除集群
  • 启动 停止 重启集群
  • 重命名集群
  • 全体集权配置
  • 移动主机
    2: 主机管理
  • 查看主机详细
  • 主机检查
  • 集权添加主机
  • 分配机架
  • 主机模板
  • 维护模式
  • 删除主机
    3: 维护管理:
  • 添加服务
  • 对比不同集群上的额服务配置
  • 启动 停止 重启服务
  • 滚动重启
  • 终止客户端正在执行的命令
  • 删除服务
  • 重命名服务
  • 配置最大进程数
    4: 角色管理:
  • 角色实例
    添加角色实例
    启动 停止 重启角色实例
    解除 重新授权
    删除角色实例
  • 角色组
    创建角色组
    管理角色组
    5: 资源管理:
    动态资源池
    静态服务池
    6: 用户管理 安全管理

在这里插入图片描述

Clouder Manager架构:

在这里插入图片描述
Cloudera Manager Server由以下几个部分组成：

  • Agent: 安装在每台主机上, 负责启动和停止进程,执行各种监视,报警和报告功能
  • Server:
  • 管理控制台服务器和应用程序逻辑
  • 负责软件的安装 配置
  • 启动和停止服务
  • 管理服务运行的集群
  • Mangement Service:
  • 由一组角色组成的服务,执行各种监视,报警呵呵报告功能
  • Database: 存储和监视信息,通常情况下,多个逻辑数据库在一个或者多个数据库服务器上运行,例如Clouder的管理和监控角色使用不同的逻辑数据库
  • Cloudera Repository：软件由Cloudera 管理分布存储库。
  • Clients：是用于与服务器进行交互的接口：
  • Admin Console ：基于Web的用户界面与管理员管理集群和Cloudera管理。
  • API ：与开发人员创建自定义的Cloudera Manager应用程序的API。

ClouderaManager 部署:

  • 1: 系统环境准备
  • 2: ClouderaManager 安装
    1:准备三台虚拟机分贝是 cdh1 cdh2 cdh3 内存分贝为 10G 2G 2G(一共16G)
    2: 网络配置(三台机器都要修改):
    vim /etc/sysconfig/network-scripts/ifcfg-eth0
    在这里插入图片描述
    vim /etc/hosts(三台机器都要修改)
    在这里插入图片描述
    3: SSH免密登录(三台机器都要修改):
    ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
    ssh-copy-id 节点名称
    4:防火墙关闭(三台机器都要修改):
    service iptables stop
    chkconfig iptables off
    5: vim /etc/selinux/config (SELINUX=disabled)
    6: 安装JDK环境变量(三台机器都要安装),修改/etc/profile 文件
    在这里插入图片描述

这里需要强调一下CDH5默认识别的jdk路径为：/usr/java/default 如果安装JDK的路径不是这个的话 会出现报错:显示拒绝连接 也就是部署客户端配置失败

在这里插入图片描述
解决办法:
可以将将jdk的路径使用软连接的方式将jdk映射到default中，软连接建立命令：
(如果usr中么有java或者default 需要自己建立 否则还会报错)
格式: ln -s sourcedir sinkdir
#例如：
ln -s /opt/java/jdk/* /usr/java/default/
7:配置NTP时间同步( 每台节点):
yun install ntp
chkconfig ntp on
ntpdate cn.ntp.org.cn(设置时间同步)
8: 安装Mysql(主节点):
yum install mysql-server
service mysqld start
chkconfig mysqld on
mysql 进入mysql库将user表里面的数据删除掉(实际上就是删除用户)
然后重新新建用户(让root用户有远程登录的权限):
GRANT ALL PRIVILEGES ON . TO ‘root’@’%’ IDENTIFIED BY ‘123’ WITH GRANT OPTION;
刷新一下: flush privileges
9: 下载第三方依赖包(每台节点):
yum install -y chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

ClouderaManager离线安装

1:安装Cloudera Manager Server、Agent
创建目录(每台节点):
mkdir /opt/clouder-manager
准备好 本地压缩包(主节点)
tar xf cloudera-manager*.tar.gz -C /opt/cloudera-manager
在这里插入图片描述
2: 配置CM Agent（Server、Agent）:
修改主节点名称
vim /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini
在这里插入图片描述
3: 创建用户cloudera-scm(每台节点)
useradd --system --no-create-home --shell=/bin/false --comment “Cloudera SCM User” cloudera-scm
4: 创建Parcel目录
Server节点(主节点):
mkdir -p /opt/cloudera/parcel-repo(中央库)
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
在这里插入图片描述
Agent节点(每个节点)
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
5: 配置CM Server数据库
拷贝mysql jar文件到目录 /usr/share/java/(如果java目录不存在直接新建就好了)
注意jar包名称要修改为mysql-connector-java.jar
在这里插入图片描述
grant all on . to ‘temp’@’%’ identified by ‘temp’ with grant option;
在这里插入图片描述
cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h cdh1 -utemp -ptemp --scm-host cdh1 scm scm scm(主节点)
格式：数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器
6: 制作本地源:
(下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json，将这两个文件放到server节点的/opt/cloudera/parcel-repo下)
在这里插入图片描述
因为采取的是分发机制 所以启动之前先将主节点的东西发给另外两个节点:
在这里插入图片描述
7: 启动CM Server、Agent
cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
./cloudera-scm-server start(主节点)
Sever首次启动会自动创建表以及数据，不要立即关闭或重启，否则需要删除所有表及数据重新安装
./cloudera-scm-agent start(每台节点)
在server启动的过程中 我们可以去监控server的日志文件
在这里插入图片描述
用户名和密码都是admin
在这里插入图片描述
选择免费版
在这里插入图片描述
在这里插入图片描述
选择CDH版本
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

CDH5.8.2离线搭建详解
SOARING
04-28 863
一 概述 CDH大数据平台基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。 对计算机的硬件要求很高，本人使用8G内存搭建。 二 前期准备条件 虚拟机使用的是Centos7 ，总计三台，可以ping互相平通网络，免密登录等虚拟机安装以及环境配置不在详述。 ...
手把手教你离线搭建CDH6.2
AwaysLine
02-07 1763
基于自建 parcels 的方式进行CDH6.2的大数据集群搭建，手把手教你安装，亲测可用，从基础的系统环境搭建、参数优化、硬件划分原则到后期的使用维护及日常运维，应有尽有，是我工作中的实战，后续还会不断维护，请参照下面的步骤实现，非常nice！！！
CDH集群离线搭建(适用内网)——集群组件界面安装⑥
M_red的博客
03-12 884
1.登录CM管理界面，输入用户名和密码（admin/admin）,继续这里根据具体需求进行选择进入下一个界面，点击继续集群名称，根据需求改，直接编辑即可这里要把需要的主机ip纳入管理，在主机名称中输入ip进行搜索,选中所有主机后点击继续这里选择自定义存储库 http://172.21.35.243/cm6.3.1/选择更多选项，删除多余的远程 Parcel 存储库 URL，添加parcel的远程安装库为：http://172.21.35.243/cdh6.3.2/点击保存更改。
CDH5.4.5 离线分布式安装（步骤最全最详细）
04-29
包括安装CDH的详细文档, CDH5.4.5 离线分布式安装（步骤最全最详细）
离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
weixin_30823833的博客
10-13 467
关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管...
安装oracle执行runInstaller文件时报错：“……/install/.oui:Permission denied”
热门推荐
雅冰石的专栏
04-03 2万+
一：问题描述 二：出错原因 将windows下未解压的Oracle安装软件上传到了linux服务器，导致有三个文件的执行权限丢失。 三：解决方法 为其赋予相应权限即可。 1： [root@MyPc ~]# chmod 777 /download/database_10g_64/runInstaller  2： [root@MyPc install]# chmod 777
离线CDH集群搭建
向往的生活
06-10 341
写最前面 本文采用CM，CDH开源版部署，以1主2从共计3台主机进行安装示例。 一、准备工作：系统环境搭建 以下操作均用root用户操作。 1.1 网络配置(所有节点) vi /etc/sysconfig/network 修改hostname： NETWORKING=yes HOSTNAME=n1 通过 service network restart 重启网络服务生效。 vi /etc/hosts ,修改ip与主机名的对应关系 xxx.xxx.xxx.xxx n1 xxx.xxx.xxx.xxx n2
离线搭建cdh5.12.2集群
星空的风fly
08-26 1156
一、安装环境准备 1、服务分布一览表 hostname Server Agent MySQL NN DN RM NM JN ZK DFSZKFC node01 1 1 ...
CDH离线搭建文档
04-24
### CDH5.7.5版本本地离线安装实战知识点 #### 一、安装规划 在进行CDH5.7.5版本的本地...整个流程涉及了软件环境的校验、网络配置、安全配置及YUM源的搭建等多个方面，这些准备工作对于确保CDH集群稳定运行至关重要。
大数据部署离线安装CDH操作指南（环境准备+Cloudera manager安装+CDH部署）
03-08
### 大数据部署离线安装CDH操作指南 #### 环境准备 为了搭建一个稳定的大数据平台，首先需要准备好必要的硬件资源。本指南基于三台机器进行部署： - **cdh1**：作为CM Server及DB Server，内存至少6GB。 - **cdh2...
精选资源
【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建
01-07
CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步：上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/ 第二步：查看Hadoop支持的压缩方式以及本地库 cd /...
精选资源
cdh6.3.1离线完整版（百度网盘下载）
08-04
CDH安装包
Cloudera(CDH) 简介和在线安装
静静是我女朋友
12-07 2万+
实验背景 笔者需要维护线上的hadoop集群环境，考虑在本地搭建一套类似的hadoop集群，便于维护与管理。 Cloudera 简介 经过搜索发现Cloudera产品很适合笔者当前需求，于是开始研究Cloudera（CDH）的安装与使用，参考：Cloudera 官网：https://www.cloudera.com Cloudera 官方文档： https://www.cloudera.co
Dinky 上使用 FlinkCDC3.1 PIPELINE 同步MySQL到StarRocks
TaiYangb的博客
10-15 1981
Dinky 上使用 FlinkCDC 3.1 Pipeline 同步MySQL到StarRocks需要的依赖。
Flink1.20.1集成Paimon遇到的问题
最新发布
TaiYangb的博客
07-09 1107
flinkcdc mysql 到paimon。
Flink2.0 配置 historyserver
TaiYangb的博客
06-25 966
运行 Flink job 的集群一旦停止(例如yarn模式，程序一旦停止，集群也就关闭了)，只能去 yarn 或本地磁盘上查看日志，不再可以查看作业挂掉之前的运行的 Web UI，很难清楚知道作业在挂的那一刻到底发生了什么。在这个时间间隔内，HistoryServer会定期检查HDFS上的归档日志目录，以获取最新的作业历史记录。HistoryServer是一个Web服务，用于展示Flink作业的历史记录，包括作业的图、状态、持续时间等信息。这个参数指定了Flink HistoryServer监听的端口号。
Hadoop 分布式计算框架之MapReduce
TaiYangb的博客
07-11 818
一、MapReduce是什么? MapReduce是一种分布式的离线阶段框架,是一种编程模型,分为MapTask和ReduceTask两部分,用于大规模数据(大于IT)的并行运算,将自己的程序运行在分布式系统上. MapReduce: Map(映射) Reduce(归纳) 分布式计算:分布式计算将该应用分解成许多小的部分，分配给多台计算机节点进行处理。这样可以节约整体计算时间，大大提高计算效率 移...
Hive的安装与优化
TaiYangb的博客
07-23 719
HIve: Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行,数据仓库使用来做查询数九分析的数据库,基本不用来做修改,删除操作, Hive架构原理: 安装单用户模式Hive: 1:安装mysql数据库: yum install mysql-server -y 2:开启mysql服...
hadoop
TaiYangb的博客
07-17 408
Hadoop是什么? Hadoop是一个分布式的系统架构 Hadoop的组成: Hdoop=hdfs(分布式储存系统) + mapreduce(分布式计算框架) + yarn(分布式资源管理框架)+ common(工具包) hdfs:分布式存储系统 HDFS (Hadoop Distributed File System) 功能: 1: 分布式存储系统 2: 提供了 高可靠性 高拓展性和高吞吐率的...
CDH5离线安装全攻略：Cloudera Hadoop集群搭建
"CDH5 Hadoop发行版的离线安装方法" 在本文档中，我们将探讨关于CDH5 Hadoop发行版的一些基础知识，以及为何选择它进行离线安装。CDH是由Cloudera公司提供的免费Hadoop发行版，包含了各种大数据处理组件，如HDFS、...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值