【HBase】之 初识(单机模式 和 伪分布式模式)

本文介绍了HBase的基本概念,包括其特性、用途,详细讲解了如何在单机和伪分布式模式下配置HBase,包括下载安装、配置环境变量、配置文件修改等步骤,并提供了简单的Shell编程实践。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

零、HBase初识


(1)HBase是什么?

HBase是面向列的数据库,基于BigTable的思想,有较好的一致性和伸缩性。

(2)HBase有什么特性?

① 伸缩性
② 内置特性:版本控制、压缩、垃圾回收(对于超期的数据),以及内存表
③ 提供了很强的一致性保证,容易实现从关系数据库的迁移。
④ 擅长扫描巨大的数据集
⑤ 容错。 通过预写式日志(write-ahead logging)和分布式配置,HBase能够快速地从单个服务器故障中恢复。

(3)HBase有什么用?

HBase常用于大公司,作为后台日志和查询系统。




一、HBase配置


HBase支持3中运行模式:

(1) 单机模式(单台机器独立运行
(2) 伪分布式模式(单个节点伪装一个集群
(3) 完全分布式模式(完全可运行的、产品级的HBase集群,实际上至少应该有5个节点。

(1)单机安装

① 下载安装
下载地址

参考:安装HBase

// 解压
sudo tar -zxf ~/Downloads/hbase-1.4.0-bin.tar.gz -C /usr/local

// 重命名
sudo mv /usr/local/hbase-1.4.0 /usr/local/hbase
Tips:配置环境变量

这样就不需要每次到相应的目录下去运行。

① 编辑~/.bashrc文件 (vi ~/.bashrc)

② 追加( export PATH=$PATH:/usr/local/hbase/bin)

Hadoop是一个开源的分布式计算框架,可以用处理大规模数据集的分布式存储计算。它支持在单机模式伪分布模式下进行安装部署。 1. 单机模式(Standalone Mode):在单机模式下,Hadoop运行在单个节点上,所有的Hadoop组件(如HDFSMapReduce)都在同一个进程中运行。这种模式适用于开发测试,以及小规模数据集的处理。 2. 伪分布模式(Pseudo-Distributed Mode):在伪分布模式下,Hadoop模拟了一个分布式环境,但实际上所有的组件都运行在同一台机器上。每个组件都在独立的进程中运行,并通过本地主机名进行通信。这种模式适用于在单台机器上模拟分布式环境进行开发测试。 要同时安装单机模式伪分布模式,你可以按照以下步骤进行操作: 1. 下载Hadoop安装包并解压缩到本地目录。 2. 配置Hadoop的环境变量,包括JAVA_HOMEHADOOP_HOME。 3. 修改Hadoop的配置文件,主要包括core-site.xml、hdfs-site.xmlmapred-site.xml。 4. 在core-site.xml中配置Hadoop的文件系统相关参数,如fs.defaultFShadoop.tmp.dir。 5. 在hdfs-site.xml中配置Hadoop分布式文件系统(HDFS)的相关参数,如dfs.replicationdfs.namenode.name.dir。 6. 在mapred-site.xml中配置MapReduce的相关参数,如mapreduce.framework.namemapreduce.jobtracker.address。 7. 启动Hadoop的单机模式,可以使用命令`start-all.sh`或`start-dfs.sh``start-yarn.sh`分别启动HDFSYARN。 8. 验证单机模式是否正常运行,可以通过访问Hadoop的Web界面来查看集群状态。 9. 在伪分布模式下运行Hadoop,需要修改一些配置文件,如hdfs-site.xmlmapred-site.xml中的一些参数,以便适应伪分布式环境。 10. 启动Hadoop的伪分布模式,同样可以使用命令`start-all.sh`或`start-dfs.sh``start-yarn.sh`来启动HDFSYARN。 11. 验证伪分布模式是否正常运行,同样可以通过访问Hadoop的Web界面来查看集群状态。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值