helm部署hadoop

小白白白又白cdllp

已于 2024-05-08 16:32:24 修改

阅读量871

点赞数 2

分类专栏：云原生大数据数据库文章标签： kubernetes hadoop 容器

于 2024-03-15 21:40:34 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_39750084/article/details/136744772

版权

（作者：陈玓玏）

参考helm仓库的文档：https://artifacthub.io/packages/helm/apache-hadoop-helm/hadoop

helm repo add pfisterer-hadoop https://pfisterer.github.io/apache-hadoop-helm/
helm install hadoop pfisterer-hadoop/hadoop

部署好了之后，在k8sdashboard中查看，可以看到datanode、nameno

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小白白白又白cdllp

关注关注

2
点赞
踩
3

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

hadoop2.7.3 HA高可用集群安装

ProfoundOx的博客

12-20

2371

hadoop2.7.3 HA高可用集群安装 HDFS高可用性（NameNode） NN必须实现共享元数据才能保证无缝切换；共享元数据可以采用Linux提供的NFS服务，也可以使用Hadoop提供的JournalNode；JournalNode采用多数派理论，保证半数以上的节点写成功即认为成功。 NN要实现自动切换（不需要手工切换），就必须实现实时监控每个节

Hadoop与HBase部署文档

06-07

自己总结的Hadoop部署方案，包含了所有依赖的安装。

3 条评论您还未登录，请先登录后发表或查看评论

k8s中部署hive，包括客户端及服务端

小白白的博客

05-16

1804

推送好之后，在cube studio平台上，新建一个pipeline，使用自定义镜像模板，填写镜像为ccr.ccs.tencentyun.com/cube-studio/hadoop-hive:v3.3.2-3.1.3，debug，检查目录对不对，检查环境变量是否正确，在命令行输入hive命令，看是否能正常执行。环境变量写在/etc/profile更好，因为~/.bashrc是临时的，重启一下pod就复原了，但/etc/profile是全局的，避免一直要重复设置。登录ui界面，可以验证是否成功。

helm安装私有仓库及搭建hadoop实例过程文档

06-07

里面包含三个完整的文档,包括：helm简介及安装/helm搭建私有仓库及搭建hadoop实例过程文档

helm系列2--helm安装hadoop

u013289746的博客

06-07

3279

helm安装hadoop参考： https://github.com/kubernetes/charts/tree/master/stable/hadoop本文文档均参照以上github上的操作步骤完成，附加了需要注意的地方、测试经验、亲和性、挂载以及扩容缩容等操作。需求：利用helm编排快速安装hadoop，可进行快速的删除并重新安装；hadoop的datanode的pod安装在指定的机器nod...

Helm私有仓库搭建与Hadoop实例部署指南

weixin_33193177的博客

10-19

1194

本文还有配套的精品资源，点击获取简介：Helm作为Kubernetes应用管理的关键工具，通过Chart包格式简化了应用程序的打包、发布和管理。本文详细介绍了Helm的安装过程，私有仓库的搭建方法，以及如何利用私有仓库部署Hadoop实例。涵盖Helm客户端和服务器（Tiller）的基本概念，Chart的创建与管理，以及Hadoop实例的配置和部署。读者将学习到如何通过H...

helm部署hadoop并指定namespace和名称的命令

学亮编程手记

02-08

3843

[root@k8s-n0 workspace]# pwd /root/helm-about/workspace [root@k8s-n0 workspace]# sudo helm install hadoop hadoop-1.1.4/ -n dmgeo-lib

helm安装hadoop报错：kubernetes cluster unreachable: get “http://localhost:8080/version“

小白白的博客

05-08

1250

于是执行这条命令，发现执行不成功，无法将kubeconfig写入~/.kube/config，文件不存在，也无法通过这条命令创建，但是这个报错存在就是因为helm使用的是kubeconfig，会去寻找这个默认的配置文件，那我们换个思路，手动创建这个配置文件。第二步是直接新建一个文件~/.kube/config，把kubeconfig内容粘进去，再执行helm安装hadoop的命令，就成功了。参考链接：https://github.com/k3s-io/k3s/issues/1126。

helm 部署Hadoop

最新发布

12-14

通过 Helm，我们可以使用预定义的模板和配置文件（称为 Chart）来部署和管理复杂的应用程序，如 Hadoop。以下是使用 Helm 部署 Hadoop 的基本步骤： ### 1. 安装 Helm 首先，确保你已经安装了 Helm。你可以通过...

Hadoop集群部署实例

02-06

由于工作需要，最近一段时间开始接触学习 Hadoop 相关的东西，目前公司的实时任务和离线任务都跑在一个 Hadoop 集群，离线任务的特点就是每天定时跑，任务跑完了资源就空闲了，为了合理的利用资源，我们打算在搭一...

helm 安装

zhixingheyi_tian的博客

04-09

1852

可参考 https://helm.sh/docs/using_helm/#installing-helm 客户端安装在github 上下载最新 Binary包 helm-v2.13.1-linux-amd64.tar.gz 安装helm tar -zxvf helm-v2.13.1-linux-amd64.tar.gz mv linux-amd64/helm /usr/local/bin/hel...

Kubernetes安装Helm.docx

09-24

Kubernetes安装Helm，和架构图讲解。希望可以帮助到刚学习的同学。

hadoop （多节点）环境搭建

05-05

史上最全多节点 hadoop 开发环境搭建详解

helm部署hadoop报错解决方法

学亮编程手记

02-01

576

参考链接： https://blog.youkuaiyun.com/weixin_40548182/article/details/108775841

【云原生】Hadoop HA on k8s 环境部署

大壮

01-17

452

在 Hadoop 2.0.0 之前，一个集群只有一个Namenode，这将面临单点故障问题。如果 Namenode 机器挂掉了，整个集群就用不了了。只有重启 Namenode ，才能恢复集群。另外正常计划维护集群的时候，还必须先停用整个集群，这样没办法达到 7 * 24小时可用状态。Hadoop 2.0 及之后版本增加了 Namenode 高可用机制，这里主要讲Hadoop HA on k8s 环境部署。

Ha 高可用hadoop集群安装

ENCCDY的博客

11-14

1682

2.7.3高可用hadoop集群安装

k8s部署hadoop

小白白的博客

03-15

1336

配置和模板参考helm仓库：https://artifacthub.io/packages/helm/apache-hadoop-helm/hadoop。

在Kubernetes上部署Hadoop集群（ARM64架构）

Copper01的博客

01-25

1979

1、环境介绍系统版本：Linux 4.19.90-17.ky10.aarch64 aarch64 Docker：18.09.0 Kubernetes：1.19.0 2、部署材料准备基础镜像：centos:centos7.9.2009 (arm64/v8) JDK：jdk1.8 (OpenJDK8U-jdk_aarch64_linux_hotspot_8u275b01.tar.gz) Hadoop：hadoop-2.9.1.tar.gz 3、制作镜像由于Hadoop并没有官方指定的镜像