CDH 由单机版本的扩容

最新推荐文章于 2024-11-02 10:15:00 发布
原创 最新推荐文章于 2024-11-02 10:15:00 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#cdh

  • 首先，我们是一台单机版本的CDH

  • 加入我们打算迁移namenode到其他的主机
    那么会得到提示，必须首先是HA
    稍后你还会得到提示，要想HA，必须得有三个JN，也就是JournalNode

升级完成后的集群，有两个NN，三个JN
这里写图片描述

升级的时候，会有服务重启的现象，导致HDFS有短暂不可用的时候，大概几分钟吧。
这里写图片描述

JN节点在扩容的时候，需要指定目录，虽然有默认，但是你不填是不会放你过去的
这里写图片描述

这里写图片描述

下面两张图是把单机版本扩容成三机版本的时候，需要扩容NN和JN的选择图片：

这里写图片描述

这里写图片描述

这里写图片描述

  • 扩容完了HDFS的HA，那么ZK也要扩容了，在主界面会有提示

这里写图片描述

Hadoop【应用篇】02：大数据平台【单机】【CDH6.2版本】安装部署
weixin_40612128的博客
02-02 3319
Hadoop【应用篇】02：大数据平台【单机】【CDH6.2版本】安装部署
Centos7搭建CDH6.0.1(单机版)
qq_36374082的博客
06-28 837
Centos7搭建CDH6.0.1(单机版) 一、前言。 学习大数据组件，最好的方式是直接参照官网。不过官网的教程也让我吃了一坑，在此记录一下。因在个人笔记本资源有限，在此安装为单机版安装 官网参考地址：https://docs.cloudera.com/documentation/enterprise/6/6.0/topics/install_cm_cdh.html 二、搭建。 1.1配置主机名 hostnamectl set-hostname cdh 1.2配置hosts文件 vi /etc/hosts
CDH配置文档（Centos7单机模式）
AF黑眼圈患者的博客
08-10 1079
CDH安装 centos7 安装版本：Cloudera Manager-5.12.1、CDH-5.12.1、jdk-1.8.0_261、mysql-5.7.16、spak2-2.4.0、kafka-4.1.0。添加服务界面就不详细展开了，web界面每一个服务安装过程都会指定安装主机，本次单机安装全部装在本机上，下一步根据需要调配置安装就好。• 是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建。...
centos 安装 CDH（2020-10-31）
尤托匹亚的博客
10-31 704
CDH单机版安装 机器的磁盘分配至少100G 机器的内存分配至少8G 机器的核数至少4个核 配置主机名 域名映射 /etc/hostname /etc/hosts 配置免密 ssh-keygen ssh-copy-id doit 配置ip地址 /etc/sysconfig/network-scripts/ifcfig-ens33 IPADDR GATEWAY NERMASK DNS1 关闭防火墙 *** systemctl stop|disable|status firewalld 时
保姆级教程：docker下安装CDH（单机版）
阿甘兄
02-20 2554
超详细讲解Docker下安装单机版CDH的完整流程
手把手教你离线搭建CDH6.2
AwaysLine
02-07 1748
基于自建 parcels 的方式进行CDH6.2的大数据集群搭建，手把手教你安装，亲测可用，从基础的系统环境搭建、参数优化、硬件划分原则到后期的使用维护及日常运维，应有尽有，是我工作中的实战，后续还会不断维护，请参照下面的步骤实现，非常nice！！！
CDH集群环境要求
热门推荐
u011594486的专栏
08-23 1万+
CDH集群环境要求 CDH 5.x 集群
CDH6.2离线安装（史上最全安装文档）-Lyer整理版
sinat_36709196的博客
09-27 1450
CDH6.2大数据集群环境安装
CDH/HDP迁移星环大数据产品TDH
.
06-02 1952
通过8种独立的存储引擎，支持业界主流的10种存储模型：关系型数据存储、宽表存储、搜索引擎、地理空间 存储、图存储、键值存储、事件存储、时序存储、文本存储、对象存储。星环科技TDH已完成与主流信创生态厂商的适配互认工作，适配长城飞腾、华为泰山、浪潮等服务器，鲲鹏、飞腾CPU，麒麟、统信等OS，并有官方认证，支持基于ARM与X86服务器服务器混合部署并有落地案例，满足信创验收要求。TDH的多模架构，支持关系表、文本、时空地理、图数据、文档、时序等在内的10种数据模型；整个易用性、开发效率和运行效率都提高很多。
从0到1：CDH集群搭建，你不可不知的技巧！
u010192213的博客
11-02 1374
目前Hadoop发行版非常多，除了原生的外，还有Cloudera 发行版(CDH)、Hortonworks 发行版[2018 年与 Cloudera 公司已经合并]，MapR的MapR 产品、AWS[Amazon Web Services]的 EMR[Elastic MapReduce]等。目前市场份额占比最高的是前三家。所有这些发行版都是基于 Apache Hadoop 衍生出来的，之所以有这么多版本，是由于的开源协议决定的:任何人可 以对其进行修改，并作为开源或者商业产品发布或者销售。
单机版本CDH6.3.2搭建教程
qq_37401291的博客
03-01 1774
cdh6.3.2 完全离线内网安装教程 免费附带百度网盘软件下载
超简单的CDH6部署和体验(单机版)
m0_72758098的博客
04-13 954
我们总是喜欢瞻仰大厂的大神们，但实际上大神也不过凡人，与菜鸟程序员相比，也就多花了几分心思，如果你再不努力，差距也只会越来越大。面试题多多少少对于你接下来所要做的事肯定有点帮助，但我更希望你能透过面试题去总结自己的不足，以提高自己核心技术竞争力。每一次面试经历都是对你技术的扫盲，面试后的复盘总结效果是极好的！《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！力，差距也只会越来越大。
cdh hadoop2单机安装
hadoop
10-29 1323
cdh hadoop2单机安装tar安装hadoop2软硬件准备 准备硬件（linux） 准备软件安装包，并安装基础软件（主要jdk） 将hadoop安装包分发到各个节点的同一个目录下，并解压 修改配置文件 启动服务 验证是否启动成功 http://archive.cloudera.com/cdh5/cdh/5/hdfs安装方式启动Namenode 在各个JournalNode节点上，输入以下命令启
CDH6.2 在线扩容
AwaysLine
02-07 1570
当你大数据集群的规模已经无法满足当前数据需求时，就需要在线对集群进行扩容，该文章从头到尾手把手教你如何扩容 hadoop 集群，跟着我来做非常 nice！！！
CDH6.2.0扩容
csdn_gyb的博客
02-14 909
扩容加节点步骤： #修改ip vi /etc/sysconfig/network-scripts/ifcfg-ens192 IPADDR="192.168.100.159" #重启网卡服务 systemctl restart network #修改主机名(新增的服务器) hostnamectl set-hostname server155 #安装常用的工具(新增的服务器) yum install sudo yum install -y vim yum -y install lrzsz yum -y i
阿里云上cdh5 hbase搭建（单机版）
linz的博客
08-28 782
一、简介 HBase是一种构建在HDFS之上的分布式、面向列的存储系统。在需要实时读写、随机访问超大规模数据集时，可以使用HBase。 尽管已经有许多数据存储和访问的策略和实现方法，但事实上大多数解决方案，特别是一些关系类型的，在构建时并没有考虑超大规模和分布式的特点。许多商家通过复制和分区的方法来扩充数据库使其突破单个节点的界限，但这些功能通常都是事后增加的，安装和维护都和复杂。同时，也会影...
CDH 5.10.0安装单机版（在线版）
weixin_33843409的博客
04-14 686
2019独角兽企业重金招聘Python工程师标准>>> ...
单机Hadoop CDH搭建
奔跑的蜗牛的博客
04-25 504
单机Hadoop CDH搭建 使用Hadoop CDH 5.15.1搭建单机Hadoop. 环境要求 ubuntu 16 jdk: jdk1.8.0_91 Hadoop CDH: hadoop-2.6.0-cdh5.15.1 jdk 与 CDH 百度网盘链接https://pan.baidu.com/s/1UhfuTkm_uBE1x_1_yrvVUA 提取码：zxcv 搭建步骤 配置jdk环境 解压jdk 压缩包配置环境变量: 编辑~/.profile文件： export JAVA_HOME=/
Ansible+Python CDH集群扩容脚本
最新发布
03-25
### 使用Ansible和Python编写CDH集群扩容脚本 为了实现Cloudera Distribution Hadoop (CDH) 集群的自动扩容，可以通过结合Ansible和Python来完成这一任务。以下是详细的说明以及一个简单的示例。 #### 脚本设计思路 1. **Ansible Playbook**: 它用于定义目标服务器的操作流程，包括但不限于安装软件包、配置文件修改等操作。 2. **Python Script Integration**: Python 可以用来处理更复杂的逻辑或者调用 Cloudera Manager 的 REST API 来动态调整 CDH 集群的状态。 --- #### 示例Playbook (`cdh_cluster_expansion.yml`) ```yaml --- - name: Expand the CDH cluster using Ansible and Python hosts: all become: yes gather_facts: no tasks: - name: Ensure required packages are installed on new nodes apt: name: "{{ item }}" state: present loop: - python3-pip - ansible - name: Copy custom Python script to manage CDH expansion copy: src: ./expand_cdh.py dest: /tmp/expand_cdh.py mode: '0755' - name: Execute the Python script for expanding the CDH cluster command: python3 /tmp/expand_cdh.py --cluster_name={{ cluster_name }} --new_node_ips="{{ new_node_ips }}" --cm_api_key={{ cm_api_key }} ``` 此 playbook 将会执行以下动作： - 确保新节点上已安装必要的依赖项[^2]。 - 复制自定义的 Python 脚本到远程机器并赋予可执行权限。 - 执行该 Python 脚本来扩展 CDH 集群。 --- #### 自定义Python脚本 (`expand_cdh.py`) 下面是一个简化版的 Python 脚本，它利用 Cloudera Manager 提供的 REST API 进行集群扩容： ```python import argparse import requests def expand_cdh_cluster(cluster_name, new_node_ips, api_url, username, password): session = requests.Session() session.auth = (username, password) headers = {'Content-Type': 'application/json'} # Add new hosts to CM add_hosts_payload = {"items": [{"hostname": ip} for ip in new_node_ips]} response = session.post(f"{api_url}/hosts", json=add_hosts_payload, headers=headers) if response.status_code != 200: raise Exception("Failed to add hosts") # Assign roles to newly added hosts assign_roles_payload = { "roleTypeConfig": [ {"name": f"DATANODE-{ip}", "type": "DATANODE"} for ip in new_node_ips ] } response = session.post( f"{api_url}/clusters/{cluster_name}/roles", json=assign_roles_payload, headers=headers ) if response.status_code != 200: raise Exception("Failed to assign roles") if __name__ == "__main__": parser = argparse.ArgumentParser(description="Expand a CDH cluster via Cloudera Manager's API.") parser.add_argument("--cluster_name", type=str, help="Name of the target CDH cluster.", required=True) parser.add_argument("--new_node_ips", nargs="+", help="IP addresses of the new nodes being added.", required=True) parser.add_argument("--cm_api_key", type=str, help="API key or token used to authenticate with Cloudera Manager.", required=True) args = parser.parse_args() base_url = "http://cloudera-manager-host/api/v40" admin_username = "admin" admin_password = "admin" try: expand_cdh_cluster(args.cluster_name, args.new_node_ips, base_url, admin_username, admin_password) print("Cluster successfully expanded!") except Exception as e: print(f"Error during cluster expansion: {str(e)}") ``` 上述代码实现了以下几个功能： - 添加新的主机到 Cloudera Manager 中[^4]。 - 给这些新增加的主机分配角色（例如 DataNode 或 TaskTracker）。 注意：实际应用中可能还需要考虑更多细节，比如错误重试机制、日志记录等功能。 --- #### 测试与运行 测试前需确认所有变量均已正确定义好，如 `cluster_name`, `new_node_ips`, 和 `cm_api_key`。之后可通过如下命令启动整个过程： ```bash ansible-playbook cdh_cluster_expansion.yml \ -e "cluster_name=my-cdh-cluster" \ -e "new_node_ips=['192.168.1.10', '192.168.1.11']" \ -e "cm_api_key=your_cloudera_manager_api_token" ``` 以上方法展示了如何借助 Ansible 和 Python 实现 CDH 集群的自动化扩容[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值