搭建CDH 阿里云 (Step 1: 启动hdfs)

最新推荐文章于 2025-06-24 17:39:58 发布

原创

最新推荐文章于 2025-06-24 17:39:58 发布 · 2k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#CDH #HDFS搭建

本文详细介绍了在阿里云上搭建CDH集群的步骤，包括准备三台Centos机器，安装Oracle JDK，配置域名，添加CDH的yum源，安装Zookeeper，部署Resourcemanager和Namenode，设置HA，最后启动HDFS服务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

准备动作

在阿里云申请三台机器(Centos)
安装Oracle JDK

在阿里云申请三台机器(Centos)

在这里插入图片描述
PS. 内存要大于4g，因为namenode启动的时候内存需要

在每一台机器上配置域名

vim /etc/hosts
172.24.218.96 worker1
172.24.218.97 worker2
172.24.218.98 worker3

跟着cloudera官网文档走

安装CDH有两种方式:

Cloudera Mangaer
Command Line

之后说的第二种方式
在这里插入图片描述

安装CDH好处

在这里插入图片描述
用Service的方式启动组件，而不用脚本启动

安装CDH前先安装Oracle JDK

文档地址
在这里插入图片描述
 JDK 下载地址
PS. 下载x64版本的，如果选的系统是64位
下载 jdk后解压在 /usr/java/default 目录下

添加环境变量

[root@izhp333sqrlsy3kr46m4wuz java]# vim /etc/profile
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
[root@izhp333sqrlsy3kr46m4wuz java]# source /etc/profile

验证 java 是否安装成功

[root@izhp333sqrlsy3kr46m4wuz java]# java -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

安装CDH

Step 1: 添加 cdh的 yum源

在这里插入图片描述

添加 cdh的 yum源，有两种方式(我用的第一种):

下载cloudera-cdh5.repo 放入 /etc/yum.repos.d/

cd /etc/yum.repos.d/
wget https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/cloudera-cdh5.repo
sudo yum clean all

PS. 修改/etc/yum.conf的 keepcache 0->1 可以让下载的rpm文件保存

Creating a Local Yum Repository
将cloudera-cdh5.repo 下的所有rpm包下载到服务器，用web-service方式提供yum安装
相当于 yum 下载cdh相关可以走内网

文档地址

Step 2: add a repository key

在这里插入图片描述

sudo rpm --import https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/RPM-GPG-KEY-cloudera

Step 3: 安装Zookeeper

因为要布置 NameNode HA，所以需要 Zookeeper 环境
文档地址

布置Zk的机器上安装 (集群选奇数台且数量>=3)

sudo yum

最低0.47元/天解锁文章

200万优质内容无限畅学