【HBase之轨迹】(1)使用 Docker 搭建 HBase 集群

使用 docker 一键搭建 hadoop,hbase, hive 等大数据集群 注意 资源的下载地址: 链接: https://pan.baidu.com/s/1YSqC59v1djKamLBrfr9L2g 密码: wrs2 有问题联系我:lizhenchao@atguigu.cn 目录说明 不要更改docker_bigdata及子目录的目录结构 进入到docker_bigdata目录下再执行脚本 镜像构建说明 build_all.sh 可以构建需要用到的所有镜像, 运行的时候, 根据自己的需要选择需要构建的镜像,最后会创建 3 个容器 hadoop162, hadoop163 阅读详情


前言(贫穷使我见多识广)
前边经历了 Hadoop,Zookeeper,Kafka,他们的集群,全都是使用 Docker 搭建的
一开始的我认为,把容器看成是一台台独立的服务器就好啦

也确实是这样,但端口映射问题,让我一路以来磕碰了太多太多,直到现在的 HBase,更是将 Docker 集群所附带的挑战性,放大到了极致(目前是如此,往后,凭着我积累下来的理解,再难也是如此,不会,再继续艰难下去了)

虽然在真实开发环境中绝不会使用 Docker 搭建集群,我所习得的这些貌似只是白费功夫,但其实正因为这样,我更加明白了每一个技术背后的通讯是怎么样的,各个端口之间是怎么连接的,集群中的每一个个体,是如何工作的,等等如此

如果你的集群不是 Docker 搭建的,这篇博客依旧合适,只需要忽略那些额外的端口映射配置即可,但我相信,如果你将他们也掠过一遍,对这些技术的理解将会更加深刻

那接下来,就切入正题吧


0. 前置准备

HBase 依赖于 Hadoop 和 Zookeeper,所以需要先将这两个集群搭建起来

其中 HBase 利用了 Hadoop 分布式文件系统(Hadoop Distributed File System,HDFS)
来提供分布式数据存储,表中的数据都存放在这里
同时还依赖了 Zookeeper,来管理数据库中的元数据,以及实现高可用


1. 下载安装

可以从官网里下载:https://www.apache.org/dyn/closer.lua/hbase/2.3.7/hbase-2.3.7-bin.tar.gz
也可以直接单击下载:https://dlcdn.apache.org/hbase/2.3.7/hbase-2.3.7-bin.tar.gz

上传到服务器解压,然后上传到集群中的任意一个容器(如果是虚拟机的话直接上传到对应虚拟机即可)

scp -r hbase-2.3.7 root@hadoop001:/xxx/<目标路径>

2. 配置(重)

接着在该容器中进行配置:
需要配置的文件有 hbase-env.sh, hbase-site.xml 和 regionservers

1)	首先编辑 hbase-env.sh
	下面的操作均在该文件中修改,一般都是注释掉的,将注释打开再修改成要的即可
	vim conf/hbase-env.sh

2)	查看 JAVA_HOME 路径
	echo $JAVA_HOME

3)	修改 JAVA_HOME 配置
	export JAVA_HOME=/usr/local/jdk1.8.0_291

4)	不使用 HBase 自带的 zookeeper(用我们自己的方便查看)
	export HBASE_MANAGES_ZK=false

修改完如下图:
在这里插入图片描述

1)	然后是 hbase-site.xml 文件
	vim conf/hbase-site.xml

2)	下边是我的配置供参考
首先在这里预先解释几个重要的配置(也是我后边才逐渐理解清楚的)

① hbase.master.port
连接 Master 的端口,在新版本中默认为 16000,0.98之前为 60000

② hbase.master.info.port
访问 Master 在 web 界面的端口,新版本默认为 16010,0.98之前为 60010

③ hbase.regionserver.port
连接 RegionServer 的端口,新版本默认为 16020,0.98 之前为 60020

④ hbase.regionserver.info.port
访问 RegionServer 在 web 界面的端口,新版本默认为 16030,0.98之前为 60030

(超小声)一开始我一直理解为 16010 是访问服务器 hadoop001 的端口,而 16020 是访问 hadoop002 的端口,等到后面设置端口映射的时候屡屡碰壁,才发现原理啊不是这么一回事
写给使用虚拟机或者有多台服务器的

如果你使用的集群是上边两个之一搭建的,而不是 Docker 搭建的,那么下边这些端口映射的问题通通不存在,可以很丝滑地使用默认配置(可以跳过下边蓝紫色框框)

在下边给出的示例配置文件中,只需要删除端口映射所需要的 4 个自定义配置(即上边提到的那 4 个),就可以正常使用啦
Docker 集群配置说明(Docker 搭建的集群,真的好麻烦啊啊啊,真想买多台服务器呢)

首先经过了对上边几个端口的了解,不难发现
每台服务器都有自己的 master 访问端口和 regionserver 访问端口

但由于我的集群是用 Docker 搭建的,就使得服务器主机中的 1 个 16010 端口无法映射到 3 个容器的 16010 端口,同样 1 个 16020 端口也无法映射到 3 个容器的 16020 端口,16030 同理

所以,就必须 分别用主机的 3 个端口去映射容器的 3 个端口
才能保证每个容器都能正常访问(是真的好麻烦啊啊啊,161xx 端口找了好久才找到这个不冲突的)

我将 3 个容器的 16010 端口分别设置成了 16110, 16111, 16112,然后分别用主机的这三个端口进行映射,即 16110 -> hadoop001:16110, 16111->hadoop002:16111, 16112->hadoop003:16112
同理 3 个容器的 16020 分别设置成了 16120, 16121, 16122,再使用主机端口映射,16030 也一样

最后,由于主机中的 16000 端口貌似已经有东西了,所以我将其改成了 16100,其他两个容器依次为 16101 16102

下面是我 hadoop001 的配置示例,其余两个容器的配置规则就如上边所说,为 hadoop001 的递增
(16101 16111 16121 16131 / 16102 16112 16122 16132 )
<configuration
MLOps生产实战:模型封装、服务化与监控铁三角 机器学习模型部署不是简单导出和API化,而是涉及模型封装、高可用服务构建与全栈监控的系统工程。其核心原理在于通过标准化格式(如ONNX)实现环境隔离与跨平台兼容,借助容器化与执行器调优保障推理性能与稳定性,并依托分层监控(基础设施/服务/模型)实现故障快速定位与根因分析。技术价值体现在提升模型上线成功率、降低运维成本、增强业务连续性;典型应用场景包括推荐系统、风控引擎、实时用户画像等需7×24小时稳定运行的AI服务。本文聚焦真实生产环境中模型从Notebook到Kubernetes集群落地的关键实践,涵盖O 阅读详情

相关推荐

Python构建基金数据分析系统:爬虫、处理与可视化实战

金融数据分析系统是现代量化投资的核心工具,其技术实现涉及数据采集、清洗计算和可视化呈现三大环节。Python凭借丰富的生态库成为首选开发语言,Scrapy框架可实现高效分布式爬虫,PySpark处理海量金融数据,Echarts则提供专业可视化支持。这类系统在基金绩效评估、风险监控等场景具有重要价值,能显著提升传统Excel分析的效率。本文以实战项目为例,详解如何构建支持实时更新的智能分析系统,特别分享反爬策略突破和大数据处理优化等关键技术,其中Scrapy集群实现2300QPS采集性能,PySpark使10

weixin_34060299的博客 344

Cassandra高吞吐日志存储选型与实战建模指南

列式存储数据库(Column-Based DB)是应对海量时序数据写入与范围查询的核心技术路径,其基于LSM-Tree的追加写机制和分区键+聚类键的物理布局,天然适配设备日志、监控指标、IoT轨迹等场景。相比文档型或键值型数据库,它在单点写入吞吐、时间范围扫描效率及线性扩展能力上具备结构性优势。关键技术价值体现在:毫秒级P99写延迟、无锁并发计数、跨节点自动负载均衡,以及通过Bloom Filter与TWCS Compaction实现IO成本可控。典型落地场景包括实时日志分析平台、分布式追踪后端与大规模设备

diaozhiwa5526的博客 416

AI编排实战:MuleSoft+LangChain双引擎企业级落地指南

AI编排(AI Orchestration)是企业将大模型能力与核心业务系统深度集成的关键范式,其本质是解决数据孤岛、模型调度与安全交付的协同问题。它基于服务编排原理,通过解耦数据接入层与AI推理层,实现跨系统上下文聚合、动态模型路由和结构化结果输出。技术价值在于降低AI工程化门槛、保障GDPR/等保合规、提升端到端可观测性。典型应用场景包括销售智能助手、供应链风险预警、HR知识问答等。本文聚焦MuleSoft与LangChain双引擎协同设计,覆盖数据安全调度、多跳推理链构建及生产级避坑实践。

weixin_30294295的博客 505

docker搭建hadoop集群(为分布式、完全分布式)

第1章 写在前面必读 1.1 Hadoop生态简单说明 说明:hadoop只是一个存储数据的平台,mapreduce是一个计算框架,需要编程人员去编写处理数据的程序。然后hadoop是一个生态,就是说在其上还运行着hbase数据库,sqoop,shark等等工具,这样才能将hadoop存储的数据加以利用。Hbase是一种时序数据库,可用来往hadoop写数据,并通过hadoop读取数据,搭建这些的时候还要用到zookeeper软件去管理消息。总之hadoop生态涉及的东西太多,学习起来复杂,但是并不难,就是

weixin_40548182的博客 1万+

HBase集群部署指南

HBase是一个分布式的NoSQL数据库,它构建在Hadoop文件系统(HDFS)之上,为大规模数据存储和处理提供支持。在本文中,我们将详细介绍如何搭建HBase集群,并提供相应的源代码示例。通过按照上述步骤进行操作,并使用示例代码作为参考,你将能够成功部署和使用HBase集群。在开始之前,确保在所有服务器上都已正确安装并配置Java和Hadoop。使用HBase shell或HBase web界面,验证HBase集群的状态是否正常。首先,我们需要在HBase的配置文件中指定集群的相关信息。

YjKubernetes的博客 325

docker 搭建hadoop以及hbase集群详解

要用docker搭建集群,首先需要构造集群所需的docker镜像。构建镜像的一种方式是,利用一个已有的镜像比如简单的linux系统,运行一个容器,在容器中手动的安装集群所需要的软件并进行配置,然后commit容器到新的镜像。另一种方式是,使用Dockerfile来自动化的构造镜像。 下面采用第二种. 1. 创建带ssh服务的ubuntu14.04系统镜像 使用ubuntu14系统来安装hadoop和hbase,由于hadoop集群机器之间通过ssh通信,所以需要在ubuntu14系统中安装ssh服务。 编写Dockerfile如下: ###########################

【鸿蒙游戏上架审核规范指南】

华为鸿蒙游戏上架审核规范指南摘要

weixin_44161102的博客 918

高速光耦在隔离串口通信中的选型与优化策略

本文深入探讨了高速光耦在隔离串口通信中的关键作用与选型优化策略。针对串口通信中因普通光耦响应慢导致的误码问题,文章详细分析了响应时间、电流传输比、供电电压与隔离耐压等核心选型指标,并对比了6N137、HCPL-0601等主流型号。同时,提供了电路设计、PCB布局的优化技巧及实用的调试指南,旨在帮助工程师实现高速、稳定的隔离串口通信。

grpc6streamer的博客 322

用C++从零复刻Wordle:手把手教你实现命令行猜词游戏(含完整源码解析)

本文详细介绍了如何使用C++从零开始实现一个命令行版本的Wordle猜词游戏,包含完整的源码解析和核心模块设计。通过游戏逻辑控制器、单词库管理器等模块的构建,开发者可以学习C++实战技巧和性能优化方法,适合提升编程能力和游戏开发兴趣。

weixin_26763955的博客 334

PCB线路板的制作工艺流程分享!2021-08-21

Pcb板制作工艺流程:开料-钻孔-沉铜-压膜-曝光-显影-电铜-电锡-退膜-蚀刻-退锡-光学检测-印阻焊油-阻焊曝光、显影-字符-表面处理-成型-电测-终检-抽测-包装。具体如下:1、开料(CUT) 将原始的覆铜板切割成可以用在生产线上制作的板子过程2、钻孔 使PCB板层间产生通孔,以达到连通层间的目的。 3、沉铜 经过钻孔后的线路板在沉铜缸内会发生氧化还原反应,形成铜层对孔进行孔金属化,使原来绝缘的基材表面沉积上铜,达到层间电性相通。 4、压膜 压膜后的PCB板上面压了一层蓝色的干膜, 干膜是一个载体

jdbpcb88的博客 3246

IPD流程中CBB管理的5个致命误区,第3个坑了80%的团队

本文深入剖析了IPD流程中CBB管理的五个致命误区,尤其指出缺乏有效的度量与激励机制是影响80%团队的核心陷阱。文章强调CBB的核心在于前瞻性设计,而非简单归档,并需平衡通用性与产品竞争力,同时建立持续运营机制,确保CBB与市场需求对齐,从而真正实现缩短开发周期、降低成本的目标。

weixin_29234423的博客 569

Transformer实战(30)——Transformer注意力机制可视化

在本节中,我们讨论了人工智能面临的最重要问题之一:可解释人工智能 (explainable artificial intelligence, XAI)。随着语言模型的不断发展,可解释性成为一个严峻的问题。本节中,我们从 Transformer 的角度出发,研究了 Transformer 架构中的自注意力机制,尝试通过各种可视化工具理解这些机制的内部过程。

盼小辉丶的博客 2628

海思SD3403/SS928V100开发(6)单路GMSL-MIPI-YUV相机视频输入调试

硬件连接:森云GMSL相机 -> GMSL 解串器 -> SD3403 MIPI0暂时先进行单路视频输入通路调试。

jzwjzw19900922的博客 1933

华为OD机考双机位C卷 - 评委评分 (Java & Python& JS & C/C++ & GO )

华为OD机考双机位C卷 - 评委评分 (OD上机考试双机位C卷)。提供在线OJ刷题。Java、C++、Python、GO语言、C语言、JavaScript题解,并提供完整思路讲解。

算法大师! 1750

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

上一篇: 【Java之轨迹】SpringBoot 实现动态往数据库中添加时间点,使程序在规定的时间点执行任务(定时任务变形应用,附实战:动态日程提醒任务调度)
下一篇: 【HBase之轨迹】(2)使用 hbase命令 和 JavaAPI 操作 HBase(包括复杂查询--过滤器,HBase 工具类)
寒冰小澈IceClean
博客等级 码龄6年 344粉丝 79原创
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

寒冰小澈IceClean

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值