搭建新集群（CDH版

原创 已于 2022-08-30 17:12:06 修改 · 441 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#服务器 #大数据 #linux

于 2022-08-30 13:51:32 首次发布
本文详细介绍如何通过修改hosts文件及配置免密登录来准备CDH集群环境。内容包括使用xsync脚本分发文件、利用已有的云服务器进行快速资源传输、设置JDK环境变量以及使用root用户进行CM一键部署Hadoop和Zookeeper等关键步骤。
  1. 修改hosts
  2. 写xsync分发脚本
  3. 为集群中的所有master节点配置免密登录（linux的 /etc/hosts要改）
  4. 如果有一台云服务器已经有所有的包，就用它进行ip映射，云服务器之间传输（相当于本地两台机架传输快）；不然从本地拉取太久
  5. 拿到jdk后就可以设置环境变量--/etc/profile.d/my_env.d/，完后进行source
  6. CDH用的root用户，而mysql中存放CDH的元数据信息，所以也要用root用户安装操作
  7. CM一键部署hadoop、zookeeper，不需要修改任何配置文件

Azoner
关注
CDH 6.3.2 集群搭建
陈礼佳的博客
03-09 1万+
CDH 6.3.2部署搭建
CDH集群搭建
yangwenxiaohaha的博客
10-23 372
CDH集群搭建 CDH背景 CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 系统环境 Master * 1： Slave 2： Cloudera Manager：5.12.1 CDH: 5.12....
CDH-5.10.2集群的搭建.pdf
02-15
使用原生的ApacheHadoop，有以下痛点需要解决： 1、集群规模很庞大时搭建Hadoop集群复杂度越来越高，工作量很大 2、规模很大的集群下升级Hadoop版本很费时费力 3、需要自己保证版本兼容，比如升级Hadoop版本后需要自己保证与Hive、Hbase等的兼容 4、安全性很低 Apache官方和一些第三方就发布了一些Hadoop发行版本来解决此类问题。一些有名的发行版本列举如下： • Apache Hadoop • Cloudera’s Distribution Including Apache Hadoop（CDH） • Hortonworks Data Platform (HDP) • MapR • EMR 而CDH是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，全称Cloudera’s Distribution, including Apache Hadoop。 CDH提供了Hadoop的核心可扩展存储（HDFS）和分布式计算（MR），还提供了WEB页面进行管理、监控。
从0到1：CDH集群搭建，你不可不知的技巧！
最新发布
u010192213的博客
11-02 1403
目前Hadoop发行版非常多，除了原生的外，还有Cloudera 发行版(CDH)、Hortonworks 发行版[2018 年与 Cloudera 公司已经合并]，MapR的MapR 产品、AWS[Amazon Web Services]的 EMR[Elastic MapReduce]等。目前市场份额占比最高的是前三家。所有这些发行版都是基于 Apache Hadoop 衍生出来的，之所以有这么多版本，是由于的开源协议决定的:任何人可 以对其进行修改，并作为开源或者商业产品发布或者销售。
集群搭建手册_CDH5.13.1版.docx
03-11
总之，CDH5.13.1的集群搭建涉及多个环节，从环境准备到服务配置，再到问题排查，每个步骤都需要细心操作。只有深入理解Hadoop生态系统的运作机制，才能确保集群的稳定高效运行。在实际操作中，还应结合企业的具体...
Docker 搭建完全分布式CDH集群
secretWHD的博客
10-27 4257
前言 基于前面的搭建，就会发现三台容器都是发布到一台物理机上，在一台物理机上实现了CDH集群的效果，这拿来测试还行，当时实际环境下，资源是远远不够用的。 接下来，将基于前面的的步骤，使用安装包搭建完全分布式的CDH集群，在多个物理机上时间CDH集群的搭建。 跨服务容器之间的通讯问题是搭建完全分布式CDH集群的难点，这里将使用Dokcer Swarm网络解决了这个问题。 1. 拷贝安装包 将镜像安装包拷贝到各个节点 主节点拷贝 master-serv...
ubuntu完全分布式搭建CDH集群（Cloudera Manager）
04-20
### Ubuntu 完全分布式搭建 CDH 集群（Cloudera Manager） #### 搭建环境概述 本文档旨在详细介绍如何在 Ubuntu 14.04.3 系统下构建一个完整的 Cloudera Manager (CM) 管理的 CDH 集群。该集群将使用三台物理...
hadoop cdh版本伪分布式集群搭建图文教程
08-18
### hadoop cdh版本伪分布式集群搭建图文教程详解 #### 一、引言 随着大数据技术的发展，Hadoop已成为处理大规模数据集的核心工具之一。CDH（Cloudera Distribution Including Apache Hadoop）作为Hadoop的一个发行...
cloudera manager 安装cdh 搭建大数据集群，详细讲解核心
08-03
该文档详细讲解了cloudera manager安装cdh步骤，作者看了官方文档不下千次，呕心沥血整理，非常详细，以及各种安装方法的核心优缺点
CDH集群史无前例详细版搭建方式
03-26
CDH集群搭建史无前例详细版，按着文档搭，基本很稳，描述的很详细
CDH搭建Hadoop集群
09-08
本文档主要以使用Cloudera Manager5.9.3 自动搭建Hbase集群为例，介绍如何使用Cloudera Manager自动搭建Hadoop相关集群，简化为多台服务器搭建Hadoop集群工作，提高工作效率。至于如何使用Cloudera Manager来管理集群以及进行数据分析之类的工作，请参考官方文档说明。Cloudera Manager官网https://www.cloudera.com/
CDH集群的搭建【亲自搭建并把详细流程做了记录，对于初学很友好】
weixin_44616592的博客
02-21 6813
文章目录前言：一、集群准备安装 前言： 最近接到搭建CDH集群的任务 在集群搭建过程中碰到了不少问题并总结了一套搭建平滑的流程 在这里进行总结，方便下次再次进行集群搭建 服务器是aliyun服务器，新租的服务器从头开始搭建。 搭建过程中的错漏或者隐患欢迎大家指出 一、集群准备安装 ...
最全CDH集群搭建教程 CentOS6.5
weixin_44161678的博客
05-02 1047
CDH集群搭建这篇文档将着重介绍Cloudera管理器域CDH的安装,并基于以下假设:1.CentOS-6.5-x86_64-bin-DVD1.iso 下载2.安装CentOS3.安装JDK(3台克隆机同时操作)4.配置免密登陆5.时间同步（必须root用户）6.安装mysql7.CM安装部署8.启动和关闭CM Server&Agent 服务 这篇文档将着重介绍Cloudera管理器域CD...
CDH搭建hadoop集群
Cruise的博客
09-04 2257
目的：CDH5.8.0离线搭建hadoop环境关于CDH和ClouderaManager CDH (Cloudera’s Distribution, includingApache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 Cloudera Manager（本文以下简称为CM）则
CDH集群的搭建及简单使用
hua_ed的专栏
12-18 1713
CDH集群的搭建及简单使用 一、CM集群部署 1、确认防火墙问题及端口权限并关闭SELinux服务. 2、搭建yum源 开启httpd服务：service httpd start 建立CM RPM包和parcels源的目录： mkdir -p /var/www/html/cm5/redhat/6/x86_64 mkdir -p /var/www/html/c...
Hadoop CDH伪分布集群搭建实战教程
本文档是一份详尽的Hadoop CDH版本伪分布式集群搭建教程，针对初学者设计，旨在帮助读者快速掌握大数据技术的基础环境构建。以下是主要知识点的详细说明： 1. **所需软件和资源**：教程开始首先提到，参与者需要...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值